最終，行在君臣形成共識，批准徐衛辭職。秦檜也不知對徐家哪來那麼大的仇恨，都到這步田地了，還動著歪心思。向皇帝建議說，若徐衛是真心辭職，便調他回中樞來，委個閒職，讓他養病就是。至少，杭州的條件也好些不是？
其實，他是想把徐衛弄到江南控制住，一勞永逸地解決問題。可趙謹卻沒同意，人家都病成那模樣了，還怎麼來江南？若強迫於他，豈不寒了忠臣之心？若有個好歹，傳出去，天下只怕議論洶洶，還是別打這主意。除皇帝外，折彥質也不同意，秦檜只好作罷。
準徐衛辭職這事算是定下來了，可還不算完。他的功勞、聲望、級別在那兒擺著，你不可能當對待普通官員辭職一樣，皇帝可能是因為心中有些不好意思，打算復徐衛王爵，仍給全俸，等於是讓他休病假。另外，徐衛何去何從，聽其自便。
所有人都沒意見，獨秦檜反對。現在說徐衛是真心，還為時尚早，日久才見人心，不宜復其王爵。徐衛離任之後，也不能聽其自便，只要他在，就是一個隱患。所以，絕對不能讓他遷居陝西！如果朝廷要表示優待，讓他仍領全俸，再賜些錢財就是了。
趙謹覺得秦檜有些太過於小心和固執，但考慮到他也是為朝廷著想，遂從其言。準徐衛辭職，仍以正二品太尉待遇領全俸，並賜錢二十萬貫，又賞了許多珍貴藥材。皇帝還另外寫了一封親筆信給徐衛，大意是讓他安心靜養，朕和朝廷早早晚晚還要倚仗你的。
十月，興元府，兩興安撫司衙門。
兩興安撫司一直是宣撫司直轄，長官王彥也是徐衛的老部下。這日，徐衛拖著「病軀」來到安撫司，對外只說是跟這個離得最近的老部將敘敘舊。
王彥親自把徐衛迎進衙門，坐了他的籤房。看徐宣撫走路那吃力的模樣，王彥很是揪心，親手將老長官扶坐到椅子後，他道：「宣撫相公，卑職早就想去探望，現在當下時機不對，恐惹閒言，因此一直沒去。看相公這架勢，卑職心裡不安。」
徐衛笑笑，拍著老部下的肩膀道：「沒事，舊傷而已，多少年了。倒是你，春秋已高，平時多注意才是。我聽說，你軍務之餘仍好狩獵，年紀來了，多注意才是。」
「謝相公關懷，卑職雖然有些年歲，還身體一向康健。」王彥笑道。頜下鬍鬚，已經白了一半。徐衛看在眼裡，竟有些感懷，當年跟自己一起出生入死的弟兄們，如今老的老，死的死，時間過得還真他孃的快啊。
說了一會兒閒話，徐衛對王彥道：「子才兄，想是本月之內，我就要走了。」
王彥聽了這話，關切道：「朝廷批下來了？」
「倒還沒有，但想來不會有什麼意外。陝西我呆不了，打算去四川。臨走之前，來看看你，有一樁要緊的事，你心裡有個底。」徐衛道。
「相公請示下。」王彥道。
「我離職以後，十有劉光世要主持川陝事務，朝廷不會派別人來。他有幾斤幾兩，我多少知道一些，旁的都不擔心，只一件。前些時候，他曾到我府來，說是想裁撤環慶經略安撫司，將所屬部隊，劃歸宣撫司直轄。你司本就直屬於宣撫司，環慶軍一來，劉光世不可能讓你控制他的嫡系人馬。」
王彥聽到這裡，臉色一變，頓時站起身來：「他敢……」
「坐下。」徐衛招招手。「急什麼？聽我說完。」王彥這才坐下去，仍舊一臉怒意。
「我就是知道你的脾氣，所以才來提醒你。倘若劉光世整編兩興安撫司，你切不可與他置氣，更不可使性子要挾。你是我的老部下，軍中又素有威望，我料想他不敢免你的職，多半還是會將你留在軍中。你記住一點，不管再難，只要你在軍中，就如同我在。你要是意氣用事，撂了挑子才正中他下懷。你是根釘子，給我釘在軍中！」徐衛嚴肅地說道。
王彥雖不敢抗命，但還是問道：「那卑職得釘到幾時？」
「這還用問麼？」徐衛笑道。
垂了頭想了片刻，王子才道：「卑職遵命就是，他縱然讓我去養馬，我也認了！」
「我離職以後，你若有事，可找張慶等人。行了，多的我也不說了，讓你叫的人來了麼？」徐衛問道。
「回相公，一早就叫來了，此刻正在右廂裡。要召他們來麼？」王彥道。見徐衛點頭，他便起身出去吩咐。
不多時，便瞧見幾個鐵塔也似的人物踏入籤房。這幾人年紀相差較大，老的怕有五十開外，少的也卻二十出頭，而且一打眼就知道不是漢人。漢人有誰結辮子的？但他們也絕對不是女真人、契丹人，党項人。因為他們雖然結著兩條辮子，頭卻沒有剃。而且這幾人看著身份都不太低，他們雖然穿著本民族服裝，但腰裡卻都扎著大宋武官的制式帶子。一進來，也不敢去看徐衛，全都跪在地，也不像漢官那樣唱諾說敬語，只伏拜著等候訓示。
「都起來！」王彥朗聲道。
幾人起身後，仍不抬頭，個個盯著腳尖。徐衛顯得很和氣：「罷了，都別拘謹，我今天找你們來，是敘敘舊，怕以後沒這機會了，都坐。」
那幾人也是悄無聲息地落坐下來，徐衛目光落在那最年老的身，問道：「剛鐸廝，你到我軍中幾年了？」
那人年過五旬，極其雄壯，他身穿的乃是吐蕃人的服色，但腰裡卻扎著一條大宋武官常見的御仙花帶，顯示級別不低。聽徐衛問起，他就想站起來，卻被對方制止，遂坐著回答道：「小人有幸效命太尉麾下，已十年有餘。」
你道他是誰？當年，王庶和徐衛同為宣撫副使，分理川陝，徐衛因西涼吐蕃侵擾邊境，甚至攻城城池，殺死地方首長，震怒之下，發動熙河軍鎮壓反擊。先後攻破仁多泉城，濟桑城，俘其酋長，收撫羌眾數萬帳，拓邊三百餘里。為了保持地方安定，徐衛仍舊委任西涼吐蕃諸部的酋長為官，但卻將他們兒子帶到西軍中來作為人質。
這個剛鐸廝，就是當年最大一支吐蕃武裝首領，彝生者龍的長子。他有個妹妹，年紀不大，本事不小，在戰場把徐衛的汗血寶馬都奪了去。剛鐸廝被帶回陝西以後，先是委以各種空銜，後來徐衛將秦鳳境內的番兵編了幾營納入正規軍序列，便任命他作了指揮使。
跟他同來的其他人，無一例外，都是西涼吐蕃以及邊境其他少數民族勢力首領的兒子。有的是被迫為質，更多的，卻是自願被送到徐衛麾下來，以示忠誠。