且不說朱允炆等人如何部署。但說徐輝祖一路板著臉同弟弟回到中山王府後，徐增壽剛要回自己的別院，但卻被哥哥一把拉住，幾乎拖著走進書房，在門口時命令親衛離開，五十步之內不能允許有任何人靠近。然後就一把將門關上，直視著自己的弟弟，好像要詢問什麼。
徐增壽被哥哥看的發慌，低著頭，繞著書案走了一圈，訕訕笑了一聲，拿起徐輝祖放於桌子上的一隻狼毫毛筆，在手裡轉了幾圈，然後得意的看看哥哥，見其依舊沒有反應，仍然是一如既往的看著自己，卻是一言不發，自然覺得無趣，將狼毫隔得老遠擲入筒中，拍拍手，有些不悅的說道：
「大哥。你這是幹什麼？難道我又做錯事情了？」
徐輝祖見弟弟開頭，冷然道：「難道你沒有做錯事情？你說，今天在東宮，我都回絕了，你為什麼要接手要帶著景御史。」
見哥哥直接把話引入正題，徐增壽也不再隱瞞什麼，但是他一向懼怕這個大哥，也不敢頂嘴，笑道：「為什麼，我不是聽大哥你的話，為皇太孫排憂解難嗎？既然殿下不喜歡景清，就算是我不帶走，殿下也會將他貶到別處，可能是瓊州也說不定，就算是不貶黜出京，留在京師之中，殿下朝夕可見，以景清的性格，早晚也會招來殺身之禍，帶他出京那是為國留賢，磨礪幾年後，在返回來可堪大用。有什麼錯的？」
看到弟弟給自己繞了半天，就是不說實話，還暗暗說自己多心，徐輝祖頓時火了起來，指著徐增壽的鼻子喝罵道：「不要以為你心裡打著什麼鬼算盤能瞞的了人，你和燕王來往書信頻繁。平日又在做些什麼，難道我會不知道。你非要把徐家連累的家破人亡才甘心嗎？」
「景御史本來就是東宮舊屬，縱然現在太孫殿下不喜，你也休妄想把他引薦給燕王，這樣做對你，對燕王一點好處也沒有，你給我記得，現在既然已經定論讓你帶著景御史，那你就乖乖的給我帶著，不要亂說話，要是讓我聽見外面有什麼風言風語講你的是非，別看你現在是左都督，回到家中，我照樣打斷你的腿。」
別看平日徐輝祖默不作聲，且面相白皙，甚至有些秀氣，除了身材比弟弟略高一些外，則遠不如長相肖父的徐增壽顯得威武粗豪。但是一發起怒來，幾個弟弟都不敢出聲，因為一來他是長子，年齡大了幾歲。二來，徐輝祖繼承了父親的魏國公爵位，現在就等於是徐家的家主，平日約束家人親屬極嚴，所以積威之下，徐增壽一般不敢正面和哥哥交鋒。
不過今日好像有些反常，徐增壽聽到哥哥的指責，腦子一熱，竟然走到窗前，把窗戶一下子推開，朝著徐輝祖嚷道：「說啊，再大聲點，讓大家都聽到，乾脆你上皇太孫那裡告狀，說我要謀反，讓皇太孫也來個一刀兩斷，大家都清淨了。徐家也不用再操心了。」
看到弟弟如此激動，倒是把徐輝祖給弄的愣了半天，一陣清風吹進來，方才的怒氣頓時熄滅不少，才想起來，除了一個魏國公的爵位，弟弟的官職其實比自己差不了太多，自己是左軍都督府左都督，而弟弟是後軍都督府左都督。平日並不相互節制，而且弟弟在後軍都督府好像比自己還有建樹。
忙走了過來，謹慎的往窗外看了看，幸虧他這書樓是父親留下來的，建築在莫愁湖畔。而這間書房窗戶又臨水而設，往窗外看去，只見碧波盪漾映著脈脈斜暉，哪裡有半個人影，這才放下心來。
也不關窗戶，已經近六月了，江南的天氣有些悶熱，剛才兩個人幾句爭執，額頭上已經有了出汗的跡象，拍拍弟弟的肩膀，徐祖輝示意讓其坐下，語重心長的說道：「我知道你和燕王一向交好，太子去後，你一直為燕王不能被立為儲君而感到不平，但是，你可知道這樣做，會為我們徐家帶來多大的災禍嗎？」
聽上去，兄弟二人已經不是第一次討論這個問題了。徐增壽看見哥哥緩了下來，也恢復了平靜，問道：「大哥既然猜出來，為什麼現在才說？」
「今時不同往日了，增壽，要是你一意孤行。從陝西回來之後，你就搬出去吧，從此之後，你是你，徐家是徐家……。」
「大哥……。」
徐增壽喊了一聲，但是徐輝祖根本不讓他把話說下去，又拍了拍其的肩膀，示意弟弟聽他說。而後者只能暫時不出聲息。
「大哥不是怪你，而是如今形勢明朗，你若是還憑著義氣和燕王的交情去行事，誰能管得住你。但如今徐家家大業大，決不能單憑個人喜好去冒險，所以你若是還堅持，那只有讓你離開徐家了。」
「難道燕王在大哥眼裡就是那麼的不堪嗎？」看到和自己素來交好的燕王受到輕視，徐增壽有些不高興，反問一句後，繼續說道：
「那皇太孫現在是司馬昭之心，路人皆知，當日在朝堂之上怎麼對待皇上的，文武百官都看的清清楚楚，難道大哥就不覺得心寒嗎？」
原來朱允炆在朝堂之上所為，還是落入了一些有心人的眼裡，然後更是給自己的行為找到了一個理由。
「大哥從來沒有那麼認為，反而以為燕王有帝王之才，但是你要明白，光有帝王之才是沒有用的，當初在大明開國之前，陳友諒、張士誠，甚至是明玉珍和方國珍等人，那個沒有帝王之才，也不可能成為一方諸侯，可是空有帝王之才，卻無帝王之勢，又有何用。」
「什麼是帝王之勢？」對於這個大哥的學問，徐增壽可是佩服的很，不像他自己，只顧著兵法武藝，對於讀書卻是沒有半點興趣。聽到徐輝祖那番話，不由問道：「難道所謂的挾持天子就是你說的帝王之勢，難道現在的軟禁皇上也是所謂的帝王之勢？以我看，是皇上有意傳位於燕王，而皇太孫害怕被廢，驚惶之下才做出的舉止。」
但徐輝祖卻沒有回答，因為他對太孫殿下的舉止也感到不解，在朝堂之上，為了救劉三吾等人，所作所為還能被大臣們接受。可是接下來的舉動，就讓知情人感到有些迷惘了。
就在皇上重新頒佈監國詔書，準皇太孫奉天殿理政的那幾天，從內廷裡傳出一個風聞，皇上以郭寧妃之兄郭英涉及不法為由，將暫攝六宮的職責交與了李賢妃署理，雖然未將其打入冷宮，但是失寵已經是不可避免。
而且，就在當天，內廷進行了一次清洗，大約有三百餘名太監、宮女被調撥至戶部的寶鈔提舉司作為囚工，取而代之的則是有皇太孫由東宮借調的內宦、宮女，明眼人一看就明白，所換掉的除了幾個太監首領之外，基本都是皇帝的隨身近侍。
這一舉動，不但是像徐增壽這樣的有心人士，就連一向忠於朝廷的徐輝祖等人也感到十分憂心，皇太孫這是什麼意思？看看近兩個月的動向，皇太孫被授命全權署理朝政，在此之前，一個發瘋，一個失蹤的元勳國公就那麼突然的出現在京師之中，而且直接就要接掌京畿之兵，在他的眼裡，平日溫而儒雅的皇太孫驟然顯得深不可測起來。
可能很多人的想法和徐輝祖都是一樣的，想到這裡，徐輝祖定了定神，又囑咐了弟弟要注意去陝西之後的事情後，便讓他離去了。待到人去屋空，徐輝祖倚窗而立，望著碧綠的湖水，思緒萬千。
其實，他有很多話沒有給弟弟講，因為他熟知徐增壽的脾性，自己說的多了，肯定一轉眼，他就全寫信給燕王知曉，那個外甥朱高熾又要來煩擾自己了，而且，自己說的多了，漸漸也算是有了把柄落入燕王的手中，對於徐家是極為不利的。
作為長子，他從十餘歲就隨父親一起在外磨礪，看事情遠遠比弟弟透徹許多，其實在太子病逝後，弟弟的舉止他已經看在眼裡，在某個時候也曾經暗示過，但是徐增壽根本不聽他說。