太子和鄭譯覺得此計可行，於是找到王軌請求發兵擊敵，王軌卻以敵情不明而不肯發兵。只因父皇事先有令，一切兵事進退皆由王軌和孝伯二人決斷，太子見他不肯發兵也是無奈。
於是，一萬多兵馬在異邦他國盤馬彎弓而不發，轉眼兩個月時間便延誤過去了。
因軍中糧草漸乏，天氣也已開始轉寒，而且「遠征忌久兵」，孝伯和王軌也開始擔心。若一直這般按兵不動拖延下去，萬一敵兵乘虛而入，大周軍再一旦意外損亡，連他們兩人也逃不脫罪責，便思謀如何班師回京。如今退兵，雖無武功，卻也無過，陛下也不好苛責他們什麼。於是，假意派三五探子四下打探了一番，回來卻奏稟太子殿下，道是吐谷渾大兵堅壁清野，在伏埃城中按兵不出。因敵城嚴閉，易守難攻，城中的兵力部署又無法獲悉底細。
故而請太子決斷：是回朝？還是等待？太子和鄭譯不敢決斷，反回來再詢問王軌、孝伯。二人卻執意要太子自己決斷！二人慌了手腳。
細細思量，一萬二千大軍，番地數月，糧草供給日耗無數。
大周軍隊因拖延許久，士氣早已低落。此時即令有奇計發兵，王軌也會設法阻撓。設若一旦兵敗，他定會推脫所有罪責。可是再拖延下去，一旦冰雪阻道、糧草斷隔，而吐谷渾卻經過數月的休養生息，又得天時地利。再不回朝，敵兵一旦合力襲擊，恐有覆敗之險。
鄭譯等人與太子商議兩日，因終無良策，只得下令大軍還朝覆命。
返京後，武帝見太子率大軍西征數月，不僅沒有擒得吐族一兵一馬，甚至連騷擾打擊西吐犯軍的任何一場小戰事也不曾有過，直氣得眼冒金星！更聞聽王軌稟報，身兼徵敵元帥、命負軍國重任的太子置敵兵於不顧，卻聽憑鄭譯、王端二人擺佈，在軍帳中操練樂舞、飲酒賦詩通宵達旦的實情，早已臉色青紫、怒火噴發了。
他責令左右立即拿太子上殿，當眾狠狠地杖撻五十軍棍，並詔令太子身邊所有的心腹僚屬盡皆削官除名！只因氣怒過度，武帝原本恢復一些的病體又驟然復發了。
待陛下稍稍恢復一些後，王軌等人恐怕太子終究記恨此事，便據吐谷渾之事聯名上疏，奏陳太子無令無德、不堪重用，言外之意請陛下考慮改立儲君。
楊堅此時正好從青州回京探親，聞聽夫人獨孤迦羅敘說此事後不覺大驚。一面親到鄭譯府上慰問了一番，詳細問明一番情形，一面匆匆尋到來和府上商議營救之策：「來大夫，我在青州聞聽太子率兵西征，而輔佐太子的竟是王軌、孝伯二人時，我當時就捏了一把汗：太子此番出兵，不敗而歸是最好的結果了。幼主不死在外面，也算他王軌心內還有陛下。但此番西征，太子建功立勳的希望微之甚微！」來和道：「鄭大夫在軍中與烏丸軌兩人交惡，若不是眾人攔著，差點出了人命。這次，太子其實是吃了鄭大夫的虧了。」楊堅冷笑道：「即令沒有鄭大夫與烏丸軌的交惡，太子此番出征也決無大捷凱旋之理。一萬多大軍數月西征，無分毫功勳而返，太子雖有陣前輕視軍務之責，卻已身受杖策，鄭大夫等人也被除官。尋根究底起來，那烏丸軌和孝伯二人深受陛下重託輔佐太子討敵，他們數月竟連對敵國的一點騷擾也沒有，作為決斷軍事進退的輔將，二人未受任何懲處和責備，又不肯主動引咎自責倒也罷了，若再據此彈劾太子，也實在有些天理不公了吧？」來和道：「隋公所言有理。我等原想為太子辯解一番的，只是陛下正在雷霆之中，擔心陛下不僅不聽，反而更會遷怒連累太子。這樣吧，明天我和隋公的親家長孫將軍一起私下覲見陛下，為太子申辯。」第二天，武帝單獨召見了來和與長孫覽二人。
武帝的臉色看上去顯得蒼黃憔悴，來和覺得有些心酸：自陛下親政以來，勤政克己，多次御駕征討，親臨前線，自南征發病後龍體一直虛弱。原想太子能率軍西伐而歷練一番，不意竟是這般一個結果！如何能不令他憂憤交集？因只有君臣三人，武帝賜來和與長孫覽二人坐下說話。
來和奏道：「陛下，臣從未有過私下議論朝臣的例子。有些話，臣與長孫將軍原應在朝議奏稟給陛下的，因怕話有閃失會連累他人，斟酌再三，才與長孫將軍請求私下奏稟陛下。」武帝揮揮手：「來卿，長孫將軍，有話但請直言。」來和道：「陛下，臣不想背後猜疑別人。臣只不明白：太子此番率軍西征，陛下原將兵事進退之權盡付烏丸軌、孝伯二人決斷的。太子年幼，又從未有過單獨帶兵的經歷，何以太子因大軍無功退兵而大受杖笞，而二公竟未受分毫責罰？」長孫覽也奏道：「陛下，來大夫所言有理。臣等心下疑惑，即令太子有翫忽軍務之責，而進退兵事卻在二公。烏丸大將軍素有常勝將軍之稱，一萬二千大軍西征數月未得敵兵一馬一卒，若說得失功過盡在太子一人，臣以為於理只怕也說不大通。」其實，不用兩位明奏，武帝也情知原委：太子率軍西征無功而返，雖有他自己不爭氣的一面，也有因黨爭所累的緣故。此時聽兩位為他辯護，不覺又惱怒起來：「二卿不要再為太子辯解了。朕杖笞太子並不只是因他無功而返之故。身為大周儲君、大軍元帥，不知身肩朝廷國家、江山社稷的天大幹系，竟然在帥帳軍營中通宵達旦地鼓樂醺飲。這樣的太子，這樣的儲君，死了又有何足惜？」來和與長孫將軍聞言直驚得七魂出竅：原是受隋公之託，替太子辯解一番來的，這下豈不更累害了太子？兩人撲通一下跪在地上，流淚叩請陛下念及太子年紀尚小，不知世事險惡。請陛下今後多讓太子歷練磨礪，太子自然情知江山社稷的沉重，等等。末了，兩人竟哽咽泗涕、泣不成聲了。
陛下見他們如此為太子哀求，長嘆了一口氣，親自扶起二公，再次賜座道：「二卿快請起來。朕不是怪你們，朕是恨太子身兼朝廷江山之重，卻如此不知爭氣啊。」二人謝恩時，見一向威厲的陛下眼中閃著淚光，顯出從未有過的無奈和虛弱……閱覽了王軌等人聯名上疏的奏摺後，武帝將孝伯召到小書房：「公卿，太子此番西征之舉，作為一國儲君，實令文武眾臣失望。朕今天請公直言無諱：以公之見，朕若廢掉現太子，當改立何人合適？」宇文孝伯望著陛下高深莫測的臉，一時不知如何回答才好。
見孝伯沉默不語，武帝又道：「公卿，朕的帝位原是兩位皇兄所傳，若為大周江山長久之計，諸子中無有堪當大任的，是否仍當傳位於諸王兄弟的好？」孝伯正欲答言，驀然記起這個話題乃帝王大忌，一時臉色煞白，結結巴巴地答道：「陛下，此乃陛下家事，臣、臣、不敢妄言。」武帝沉默了一會兒道：「朕廢掉太子，若論兄弟長幼之序和雄才大略，應當立五弟齊王為太弟。公卿以為，憑齊王的稟賦聖質，可否擔當得了大任呢？」孝伯覺得自己的背上開始冷汗橫流了：「陛下天縱英明，胸中自有經緯……」武帝轉身望著殿外的天空說：「自朕親政以來，舊日要臣中，唯有齊王一人，朕卻升他為三公之首的大冢宰。朕不僅是為安撫手足兄弟之故，也因齊王確有雄才大略，與公卿兄弟二人和烏丸軌大夫一樣，皆是我大周不可多得的輔弼良臣啊。」孝伯忙道：「此乃陛下的寬宏厚德。」武帝道：「錯！非是朕更看重兄弟情義，朕更為江山社稷而慮。朕的兄弟諸王眼下旗鼓相當，各有長短。加上還有閔帝兒子康兒，世宗明帝的長子賢兒兩人。賢兒天縱過人，朕的皇位原是他父皇所傳，本當還嗣於他。可是康兒一直又是太祖嫡子嫡孫，他又能服氣嗎？還有，朕的諸王兄弟和侄兒們，個個也都是天縱過人，哪個都有過人之處，可個個也都有不足之處。而且朕思量過了，無論立嗣哪個，恐怕都會有人不服，最終有可能釀成諸王爭重之變！朕今啟用太子，畢竟朕能以父子身份格外嚴厲教導於他，眼下太子雖說聲德未聞，可畢竟還是最肯聽朕一個人的啊！」孝伯覺得自己全身有些戰慄發冷了。
「卿公，歷朝滅國之禍，多從手足骨肉的相互爭重開始生出動變之亂，以致外敵乘虛而入告終的！晉朝八王之亂的覆轍，決不能在我大周重演。如此，公從朕的位置所慮，又當如何定奪方為萬全？」武帝繼續說。
宇文孝伯滿臉大汗地說：「陛下，臣、臣明白了……」武帝繼續說：「公卿，朕與公自幼親如手足，患難與共。朕雖僥倖位登九五至尊，卻是高處不勝寒啊。又兼國事家事內憂外患，萬機之重纏得朕喘氣的機會都不敢有。怎麼比得你我兄弟舊日當年，每日朝夕相處，無話不談。雖有萬千煩憂驚險，畢竟相互激勵。唉！如今不是朕遠了公，實在是公平素不肯常來與朕排解憂煩了。」孝伯此時才感到愧悔難當：當初陛下冊定太子後，曾鄭重託付自己輔佐教導太子。
這些年來，自己只因擔心外戚勢力過重，又因與楊堅一黨舊有嫌隙，故而不僅未能盡心盡職，反而和齊王等人一起屢屢上奏太子的不堪大任，實際上是一直希望陛下終究能改立有雄才大略的齊王為儲，以此扳倒楊堅。結果，不僅不能體諒陛下的苦衷，有時甚至連「投鼠忌器」都顧不得了！再思量前不久的吐谷渾之徵，自己和烏丸將軍輔佐幼主出征敵域數月，因有私心，實在並未全力輔弼太子。天縱英明的陛下什麼底裡看不透？然而卻只對太子一人大加杖笞，又削去了太子東宮官屬鄭譯等人的官職，而對自己和王軌將軍竟連半點不滿都未流露。
這裡面不僅有陛下顧惜自己和王軌的臉面，更有陛下珍重情義的意思在內啊！此番的君臣交心，宇文孝伯決計從今往後全力輔佐和教誨太子，再不能有負陛下的重託和恩情了。