再者，徐相主政期間，歷來推行對金強硬的政策，極力主張使用軍事手段。這在往年還行得通，畢竟女真人迫得太急。但如今，早已不是當年了！我主仁慈，為天下蒼生計，不願再大動干戈，而百姓也大多厭倦了征戰，人心思定。徐相仍舊不改以往的主張，繼續高唱戰歌，這怎麼能行？所以，就算沒有近來這些事，等上幾年，他又要調動舉國之兵北伐，損兵折將，空耗錢糧，為個人虛名而公器sī用，這豈是宰相該作的事？因此，恕小人直言，無論怎麼看，徐相這相位也不能呆下去了。」這話卻是正中趙謹下懷，簡直說到他心坎上去了。讓他先前還有些惴惴不安的心平靜下來，越想越覺得沈擇說得有道理。當下不禁稱讚道：「怪不得先帝在時那般器重，你確實有不凡之處。這番話叫朕心中鬱結一掃而空！便是朝中大臣，也沒這般見識！」「官家過獎了，小人不過是跟隨官家久了，學得一些皮毛而已，膚淺之見，膚淺之見。」沈擇笑咪咪地點頭哈腰。
趙謹精神漸復，使勁「嗨」了一聲，道：「倘若徐良主動請辭，依你看，朕該如何處置？要不要假意拘留？」「實在不必！」沈擇一口道。
「假如他就坡下驢反而不妙。再者，徐良在朝中追隨者眾多，如果此事拖延不決，難免夜長夢多。要快，他一旦上表請辭，陛下立刻准奏！」
趙謹微微點頭，表示認可，又問道：「那化去職後，如何安排？」
「不能留在行朝！」沈擇堅決道。「必須遠竄！」「遠竄？這恐怕不妥吧？他事三朝，有大功，即使不在相位，朕也應該優待禮遇，如若不然，豈不寒了大臣的心？」趙謹在這一點上，倒不認同沈擇的說法。
沈擇卻不鬆口，作個揖道：「官家，徐良不比常人吶！他可是徐家的家長！他這次被迫去職，心中必懷怨恨，若留在朝中，只能是個隱患！必須遠竄！越遠越好！而且必須是南方！越南越好！」他這話，只差沒挑明，想把徐良放逐到吉陽軍（海南島）了。
趙謹此時卻默然不語，一來覺得這麼作有些過分，怕招人非議，二來也覺得徐良到底是大宋的功臣，這麼對待功臣，不太妥當。
見皇帝猶豫，沈擇似乎早料到了，加緊攛掇道：「官家，非是小人歹毒。而是為官家著想，不得不如此！徐相就算去職，他在朝中威望仍在。且不說他的兄弟們還握著兵權！」
這話著實嚇到了趙謹，脫口道：「你是說徐衛？不會吧？徐衛鎮邊二十載，歷來都以忠勇雙全，事君得體而著稱。太上皇以及先帝，對他評價都非常之高，他可是忠臣吶！」
沈擇此時說出了一句對大宋歷代皇帝百試不爽的話來：「請聖上恕小人之罪，太祖豈非周世宗忠臣？」方才沉下去的一顆心，又驟然騰起來，趙謹面上yīn雲密佈，忐忑不安！此時他倒覺得，早知如此，也就不逼迫徐良了，也免得生出這許多事來！走一個徐六，還得面對一個徐九！太原王手握西軍兵權，他要是真有二心，那天下還不大亂！
想到這裡，心頭不禁一震，搖頭道：「此事太大！徐良這節須得從長計議！重新計議！」
沈擇一怔，萬沒想到說了半天，剛到節骨眼上，皇帝倒打退堂鼓了！自己嚇唬過頭了？可秦會之是叫這麼說的啊！絞盡腦汁想了一陣，繼續嚇唬皇帝道：「官家，縱使現在官家下詔撫慰徐良，可他怨恨己生，怕是不會領情！唯今之計，便是箭在弦上，不得不發！至於徐衛，官家大可不必擔心！他縱使豐什麼想法，短期之內也不敢輕舉妄動，陛下徐徐圖之可也！」趙謹坐立難安，想了好半晌，嘆道：「唉，依你所言罷！可別出事才好！」徐良求見皇帝不得後，一連等了三日，趙謹都避不上朝。見此情形，徐六也就死了心，寫下表章，上奏請辭。他心中有怨，因此上表中言辭難免jī烈，多有影射。倒不是針對皇帝，而是將矛頭對準後宮干政權！
皇帝火速批准其辭職請求，但同時下詔高度評價徐良的功業，命其以原有級別出知泉州。
按皇后和沈擇的想法，是打算把徐良弄到海南島或者嶺南這些偏僻窮困的地方去，但皇帝在這件事情上作了一回主，不聽他們的建議，選擇了泉州這個大海邊上，但條件還不錯的地方。
徐良的去職，在朝野引起的震動，實在是超乎趙謹等人的預料。
就在徐良請辭的當日，便有與徐良關係密切的大臣上奏，自請出朝。
徐良都走了，他們留下來要麼是無法施展，要麼就是等著被逐，與其如此，不如自己自覺。
隨後，三省、樞府、諸部、乃至臺諫，自請外任的高官達十數人。
這讓趙謹始料未及，也措手不及！徐良去了、李若樸去了，朱悼病著，中書追隨徐良的大臣又請辭，最高行政機構突然空出許多位置，一時運作不暢！
趙謹慌了手腳，急忙把御營使秦栓提回來，仍作參知政事，同時兼任御營使。同時又下詔，再有無故請辭者，一概不許！即使如此，也還擋不住朝中洶湧的去職潮！徐紹在朝中經營多年，徐良繼承父親的衣缽，朝中上上下下，追隨者支援者極多，牽一髮而動全身！徐良這顆大樹倒了，他們待著也沒意思，何苦來著？
為了儘快穩定朝中局勢，徐良空出來的「尚書左僕射兼平章軍國重事」必須馬上任命。趙謹沒有太多的選擇，就有秦檜和範同兩個候選。趙謹屬意秦檜，當初此人提出分權的策略時，原本就準備讓他拜相的，現在徐良去了，他「扶正」順理成章。
但劉皇后卻有意範同，沒有其他原因，只不過因為範同跟劉家的關係近些。但是範同不管是資歷、聲望、能力都無法與秦檜相比，關鍵時刻，秦檜上下打點，走沈擇這條路子，說動了劉皇后。秦檜在復任參知政事不滿五天後，便又升任次相，上臺執政！
折彥質也沒有閒著，徐良一倒臺，朝中勢力肯定是要「重新洗牌」的，他怎麼會放棄這個機會？一番運作下來，也提了一個自己人進入中書，擔任副相。這人，便是他作江南西路宣撫大使時的下屬，原江州知州，陳康伯。徐衛當初奉詔攜妻入京，在江州停留時，此人曾親自去拜望過。
在朝中眾人粉墨登場之際，徐良黯然地收拾行裝，帶著全家老小，離開杭州，啟程前往泉州赴任。都說樹倒猢猻散，大難臨頭各自飛，但徐良出城之時，前來送別的人中，光是四品以上高官，便有二十多個！除此之外，一些在杭的退休元老，以及士紳名流都來相送！百姓聞聽徐相去職，也是傳言四起，徐良的車馬出城時，杭州百姓扶老攜幼前來相送，隊伍綿延兩裡地！
所謂公道自在人心，百姓心中有桿秤，徐良執政期間，大宋真正地從芶延殘喘，備受屈辱的境地走了出來，面對北方強敵，幾次戰役打下來，硬是窩心腳踹得女真人有些喘不過氣！這不單單是前線將帥們的功勞，也有他徐良運籌帷幄之力！
在送別的人群中，有一個身份特殊。那便是徐家老四，徐勝。當年，國難當頭，徐家子弟忘身於外，不懈於內，世人贊其勇赴國難，曾有「徐門五虎」之說。如今，徐大去世多年，徐五徐九又遠在，1陝，
也只有他送送徐六了。
「行了，四哥，別送了，回吧。這一去，你我兄弟不知還有沒有相見之日，望兄嫂多多珍重！我此去泉州，相隔千里，先人墳塋，就有勞兄嫂代祭了！」徐六嘶聲道。看得出來，現在的他，很是悲觀沮喪。
徐四也不好受，執他手道：「莫說這喪氣的話。此去路途遙遠，舟馬勞頓，你也有春秋了，小心身子是要緊。其他事，你一概不要操心，有我在。」
徐六默默無言，突然想起一事，低聲問道：「老九那裡……」「你放心，我已寫信給他，算日子，估計也快到了。」徐四回答道。
徐六卸任宰相，旁的都不擔心，只懸著徐九。正如他對徐四所言，自己一去職，那些人下一個要搞的便是老九。以他在川陝的地位、權力、實力，萬一一時想不開，鋌而走險，那就真的萬劫不復了！
而他自己現在處於風口浪尖，又不方便修書送往川陝，心中的焦慮，可想而知。
四哥的話聽在耳裡，再不多問，緊了緊堂兄的手，撤開了去，後退幾步，舉手作揖，對來送別的同僚和百姓高奐道：「諸位，請回吧，徐良走了！」語畢，在隨從攙扶下，努力挪動發福的身軀，鑽進了車裡。
車軲轆一動，送別的人群中突然呼聲四起，都道珍重。車中，徐良已是老淚縱橫！。