在平定了仁多泉城以後，徐衛便離開熙河路返回秦州。眼下麥收已畢，各地收成還不錯，但因為流民大量回鄉的緣故，陝西還是需要四川支援一部分才能解決吃飯問題。徐衛隨後便與綿州的宣撫處置司協調解決這個問題。
事畢，徐衛寫信給王庶，禮節性地表示感謝，畢竟他主要是主政陝西一地，雖說也可判決四川，但為了表示對老長官王庶的尊重，他除了必要的時候彰顯自己的權威以外，一般不過問。
但王庶給了的回信，卻讓紫金虎感到意外，王宣撫在私信中稱，他已經向朝廷上奏，要求卸任致仕，而行在也已經批覆下來，準其所請，並召他赴江南入覲。王庶雖然年高，但還有兩年才到致仁年紀，他此時請辭告老，容易產生爭議。
原因就在於，現在川陝沒有主官，他和徐衛同為宣撫副使。提前請辭致仕，別人就有可能胡亂猜測，比如與徐衛不合之類。有鑑於此，徐衛收到信後，立即啟程赴綿州相見。
不得不說，四川確實是個好地方，山青水秀，地靈人傑，可四川在六月卻是火一般的季節，熱得實在沒有辦法。徐衛一路下來，到達綿州時，直感被曬脫了一層皮。恨不得縱身跳進那涪江河裡涼快涼快。
至宣撫處置司，王庶卻不在衙門裡，說是去羅浮山避暑了。宣撫處置司的事務，暫時由張浚主持。徐衛遂離綿州城，往羅浮山而去。羅浮山又喚落浮山，位於綿州西部偏北方向，因有險峻陡峭的十二峰在雲霧之中時浮時現而得名，山上有「飛鳴禪院」，建於唐代，香火鼎盛，正是避暑的好去處。
徐衛到羅浮山，果見是處好所在。疊翠峰嶺，形態各異，山上松柏常青，清幽涼爽，時聞鐘磬之聲，叫人拋卻煩惱，好不自在。王庶在山上有座別院，遇到天熱閒暇，時常來住住。
徐衛將衛隊留在山下小鎮，獨自一人上得山來，至王庶那處別院，見雖不軒敞，倒也清靜。此時柴扉半掩，一個小廝正提個籃子在那院中仰頭摘瓜果。
「王宣撫倒是自在，他一心告老，便連本司事務也不管，卻交給張浚打理。」徐衛有暗思，隨即上得前去。
「宣撫相公可在？」徐衛在柵欄外頭問道。
那小廝冷不防有人過來，駭了一跳。徐衛因為天熱，早扒了官袍，只穿著短褐，那小廝上下打量，看到了他手中官袍一角，見是紫色，慌忙拉開柴門，行禮道：「相公從何而來？」
「你不認識我？」徐衛一皺眉。
「請恕小人無狀。」那小廝倒頗知禮儀。
徐衛無奈，只得道：「我是徐衛。」
「徐宣撫？」小廝臉色一變，趕緊讓開身，恭請徐衛入內。一進去，徐九才發現，這王宣撫別院表面看簡單，裡頭卻是別有洞天。那柵欄裡頭，一段磚牆掩住，越往裡走，越是精緻。那小廝引著徐衛，避開正廳，走旁邊迴廊，行好一陣，轉入一個園子。
這裡卻已經到了山崖，地上方圓二十餘步，弄得平整，都鋪著石板。此時盛夏，園中百花齊放，蜂蝶絡繹，煞是好看。這些還不算，最讓人驚異的是，一道飛泉，從那山崖下濺下，真如珠玉之落銀盤！
王庶就在那泉邊搭張躺椅，也穿一身短褐，手裡一把抵紙扇，半蓋住臉，似乎已經酣然入睡了。那小廝要去叫醒，卻被徐衛擋住，任他自去，而後就在旁邊花壇沿上坐下，欣賞園中美景。
「這厚道人倒也會享受。」徐衛暗笑。這處園子，裡外長近百步，造價必然不菲。王庶一直以忠厚長者的形象示人，很容易也讓人把兩袖清風往他身上套。
好大一陣之後，徐衛身上的汗水都幹了，王庶才長長地「嗯」了一聲，手中摺扇又搖了起來，口中含糊道：「叫你去採摘些鮮果，如何半天不來？」
徐衛從身旁的果籃裡挑出一個紅豔豔，粉嘟嘟的桃，起身遞上前去道：「相公請用。」
王庶聽得聲音不對頭，睜開眼一看，就跟觸電一般要從躺椅上躍起，哪知年高，體胖，一時竟起不來。徐衛大笑，伸手拉他一把。
王庶卻有些生氣：「子昂，你說你來，怎也不事先知會一聲，你看我，我這多失禮！」
徐衛笑道：「相公是徐某的老長官，我候你是應該，何來失禮？」
「哎呀，你來綿州，只需叫人到山上招呼一聲，我回去城裡就是，何勞你跑一趟？嘖嘖，哎呀……」王庶不住地責怪道。隨後，又喚僕人搬來桌椅，就跟徐衛在那泉邊坐定，擺上新鮮瓜果，泡上兩杯石泉清茶。
徐衛確實是渴了，等不得那茶涼，就從旁邊的水池中妥了一碗山泉，咕咕灌下，甘甜清洌，沁入心肺。王庶替他削了個梨遞過去：「來，嚐嚐，都是自己種的。」
徐衛接過，詫異道：「相公自己種的？怎還有這嗜好？」
「老了，活動活動反而好。便是以後回慶陽老家，老夫也不過就是耕作而已。」王庶笑道。
聽他提起這個，徐衛正好切入話題：「相公，你為何急著致仕？」
王庶一邊削著桃，一邊笑道：「我身體還好，精神也不錯，但畢竟到了這把年紀，來日也無多。就不鞠躬盡瘁了，留些光陰給自己，清清靜靜，平平淡淡地過他幾年，便是閉眼，也沒甚要緊。」
「可相公在川陝多年，你一旦去職，這秦蜀兩地，誰來主持？」徐衛手中的梨，一口也沒吃。
王庶看他一眼，笑道：「子昂不必讚我，老夫別的本事也沒有，心力協助而已。先是李宣撫，後是兩位徐宣撫，朝廷念我有勞，一路作到宣撫副使，徐處仁去職後，我又主持了一段，夠了，剩下的事就看你們了。」
徐衛又拘留幾句，王庶搖頭而笑。
見此情形，徐衛拿起梨啃了一口，讚道：「嗯，肉細，汁多，香甜，好東西。」
徐衛是武人，吃東西一口下去，半邊沒了。王庶卻不一樣，將那一顆桃削完皮，又切作一塊一塊，置於銀盤中，拈著吃。吃下兩塊，笑問道：「子昂此來，就是陪我納涼喝茶？」
徐衛笑笑，道：「相公在信中說，行朝已經批覆你致仕，又詔往江南面君。那準備幾時動身？」
「這些日子炎天暑熱，等這些天涼快些，再啟程赴江南。」王庶答道。