耿南仲見徐紹過了關，很不爽利，又指使人揪住徐衛。說徐九在反攻中任都統制，總管全軍，戰敗之責他應該負吧？建議解除徐衛兵權，給他個閒職。
趙桓卻覺得，徐衛總歸還是太年輕，志得氣滿，輕敵致敗，過錯當然是有的。但他和姚平仲在戰敗之後，迅速收攏兵力，堅守鳳翔府，擋住了金軍入蜀的步伐，過是過，功是功，還是要分清楚的。此時，朝中百官也是一片反對之聲。說徐衛久在陝西，熟悉軍情，不能一棍子給人打死，陝西還是要依靠這些年富力強的將帥。甚至連跟耿南仲一個鼻孔出氣的黃潛善，也替徐衛說話。
雖然朝中意見都不支援解除徐衛兵權，但前線將帥打了敗仗，不處理就無法嚴明軍紀。最後的結果是，徐衛被降三官，充利州觀察使，從正三品，降到了從四品，還仍任秦鳳路經略安撫使兼兵馬都總管。對姚平仲等西軍戰敗將領的處理，都比照徐衛的標準。
陝西的事情一處理完，行在的地點爭論也有了結果。既然西軍大敗，元氣已傷，那到興元府就什麼意義了，朝中一致通過，去杭州。
這年五月底，趙桓率宗室百官，離了福建，前往杭州。因趙桓身體原因，行程極慢，一路走走停停，一直到八月才抵達目的地。到了杭州之後，皇帝仍舊沒有精力處理朝政，軍國大事多決於耿南仲等人，恰好折彥質又上書請辭樞密使被批准，出為江南西路宣撫使，帶著折家軍到江西練兵去了，朝中一時唯耿南仲獨大，就此種下禍根。
陝西，秦州，秦鳳路經略安撫司。
自金軍退兵後，徐衛整頓殘部，幾個月時間，他幾乎把自己的防區走了一個遍，迅速摸清了秦鳳一路的情況，將部隊妥善佈防。並會現部下，吸取鄜州戰敗的教訓，用心練兵。鑑於鳳翔府特殊的戰略位置，徐衛和吳玠馬擴等人考察之後認為，要守住鳳翔，有兩年事情必須幹。
第一，就是鳳翔城防體系必須更新加固。最好是按照當初河東平陽府的格局加以改進。
第二，單純依造鳳翔城來抵擋敵人攻勢，是非常消極被動的。當初他阻擊金軍的那處朱記臺，地勢險要，控扼渭水，應該加以經營，在那裡興建關隘壁壘，造永久性工事。
如此一來，金軍想要佔據鳳翔作為前沿基地，一進來就會撞上朱記臺，就算繞道，也還有鳳翔城，有了這兩個支撐點，鳳翔防務就牢靠得多。金軍想借此入蜀，絕非易事。
他就此事，上報了陝西宣撫處置司，要求撥給錢糧物資，築城，建關。主持陝西軍政的王庶對他這個想法非常支援，非常贊同，可問題是，現在陝西拿不出錢來因此，他好言寬慰紫金虎，再等等吧，等明天緩過勁來，先辦你這件事。
「明年？萬一在我們防務佈置妥當之前，金軍又來了呢？這事是能等的麼？」馬擴把宣撫處置司的覆函往桌上一拍，不滿地說道。
正襟坐在椅上的吳玠也覺得不可思議，說道：「人手鳳翔不缺，那許多從東南隨官軍撤過來的百姓，衣食都沒著落，只要有活幹，不說工錢，管飯就行。哎，這大帥在公文中說得非常清楚啊這點錢也沒有？幾個月前，從鳳翔運走的錢糧物資，拿出一丁點來，也足夠了吧？」
徐衛聞言嘆道：「現在局勢艱難啊，最惱火的，莫過於姚平仲他們。出來四萬精兵，回去萬把殘部，他那裡才正是用錢的地方。沒辦法，緩一緩吧。不過，子充的話很有道理，雖說宋金剛剛議和，但處在你我的位置，我們應該有這樣的心理準備，金軍隨時有可能捲土再來」
馬擴搖了搖頭：「這一回，元氣大傷，不是兩三年能夠恢復的。」
正說著，外頭士兵報道：「大帥，宣撫處置司徐參議到了。」
徐衛一怔，六哥怎麼來了？當下起身去迎，剛至堂外，徐六已經進來，遠遠執禮道：「徐經略。」
「徐參議這是來視察？」徐衛還禮問道。
徐良上得前來，笑道：「視察不敢當，受王判驅使，往各路查訪軍情民意，秦鳳自然是首要之地。」
「來來來，裡面說話。」徐衛伸手請道。吳玠馬擴二人當下告退離去。
到了二堂，徐衛的辦公所在裡，兩兄弟坐下，徐衛親自替堂兄倒上茶，雙手呈上。徐良一見他這畢恭畢敬的模樣，不敢去接，疑惑道：「九弟，你這是作甚？哥哥得罪你了？」
「這不是降三官，從四品觀察使麼？矮徐參議半級，你是長官，我自然要恭敬一些。」徐衛說道。
徐良苦笑著搖了搖頭，接過茶來道：「你要求撥錢糧那事我知道，現在宣撫處置司也很難，實在拿不出錢來，你等一等。來時，王判再三囑咐，讓我見了你要解釋清楚，等明年緩過來，先就辦你這事。」
徐衛挨著他坐下，點頭道：「我理解上頭的難處，但明年可不要再推託了。」
「這是一定，你秦鳳路處在抗金前沿，緊誰也不能緊你。」徐良抿了一口茶道。又說了一陣話，無非是例行公事，詢問秦鳳軍情，徐衛自然如實回答。
徐良放下茶杯，環顧左右內外無人，趨身向前，低聲道：「九弟，有個事為兄提前給你透個口風，你不要跟任何人說起。」
「何事？」徐衛問道。
「南方來了詔命，跟涇原有關。」徐良道。
心裡一跳，跟涇原有關？那不就是跟大哥有關麼？什麼事居然驚動了朝廷？徐衛忽然想起，當日他趕往成州，見三叔離陝之前最後一面，當時三叔就提到了大哥，聽他的意思，好像沒打算和稀泥，莫非這回來的旨意，就是……
「你說。」徐衛點頭道。
「大哥這回了不得，南邊委任他為御營司都提舉，接何灌的位子。」徐良一本正經道，說到此處，靠回椅去，「怎樣，榮寵備至吧？」
榮寵？你這風涼話說得真不著邊際他好端端在涇原當著大帥，手下數萬雄兵，天不管地不管，何等自在？誰稀罕到南邊去？整天俯首貼耳，謹言慎行？
不過，別說，這招還真狠明著吧，升了你，御營司是大宋方面武裝之一，天子近衛軍，御營司都提舉，那就是頭號軍事主官，是至少帶「太尉」銜的。可問題是，御營司成天在皇帝面前轉悠，大哥在陝西呆慣了，他能過得了那日子？更不用說，現在的御營司，恐怕也不是安樂窩，秦鳳趙點，府州折氏，誰聽你的？
看來，三叔真為這事冒火了。如果不是他回南方去說了什麼，朝廷怎會如此處理？這說白了，就是解除你兵權啊