李白出蜀的真正原因，一直是個秘密。終其一生，盡有無數胸臆之語可向天下人敞說，略無遮掩；唯獨在突然之間拋棄了一切，仗劍辭鄉，去不復顧，似乎全無根由——那是吳指南從故宅趕了一匹五花馬來的當日，趙蕤於一箭之外影影綽綽看見了，想起七年以前與李客熝牛頭夜話的那回，的確好像見過這馬一回——它原本身色棕紅、鬃色碧綠，蹄色烏黑、額色雪白，體軀肥大，卻彈步輕盈。它應李客的呼嘯而來，片刻飛奔十餘里，佇立著守候李客，還不時流露出頑皮不馴的小駒之性。
於茲七年之後，這馬益見壯碩，鬃毛也變得鬈曲深密，依然背無鞍韉，口無銜轡，性情卻沉著穩適得多。吳指南引馬就路旁隨手一指，那馬也乖順，便於指處站定，偶爾趁風動搖幾下尾巴，別有一份意態自如的從容老練。
吳指南並非無端而來。除了馬，還有一肩行李。他把行李也齊整地堆置於道旁，仔細看了看陰蒙昏灰的天色，指沫風乾，想想一時之間，或恐還不至於落雨，才三步並兩步跑來，呼叫著「神仙」、「李十二」。
很難說李客是由於難題棘手而誠心求助，或者是他想借機驗看李白究竟能否成材？總之，吳指南帶來了讓李白措手不及的訊息——大明寺僧慈元忽然死了。
有一個到處流傳，可是言者人人惶怖不安、寧可信其無的謠言，說慈元是「代死」；其所代者，便是綿州刺史李顒。
李顒自從上表舉薦，而趙蕤、李白師徒「不就」之後，不但不沮喪懊惱，反而鬆了一口氣，省操一份心；自然也愈益敬重這「趙徵君」了。根據他自己散存的幾首記事之詩所載，就在李白去來成都、峨眉千里之行的一兩年間，他至少兩度造訪趙蕤，至則「通宵談飲，綴詩不歇，極盡歡噱」。
忽一日，刺史心念偶動，隨手扔下公事，就要微服易馬，前往大匡山找趙蕤作詩去，衙中別駕、司馬苦勸而不止，料是天意得知，忽而從烏何有之鄉闖來一人，名叫張夜叉。這張夜叉披頭散髮，肩立鸚鵡，狂歌終日不息，這一日偏就橫身臥在刺史馬前，像是醉倒了，又像是瘋魔了，滿口濫說胡話，招來更多閒人圍聚，刺史就更出不了署門外大街了。可是，人們不大敢驅趕張夜叉的道理也很實在：他不胡說則已，一旦說了，語便成真。
這一天，張夜叉說的是：「太守向是風雅人，盡說風雅話，張夜叉給太守送行，就學太守說四句吧？——太守莫出門，出門死太守。山留一世青，家有無涯壽。」
李顒留心民事，早聞聽人說張夜叉有前知之能，聽見這話也的確有些悚然。然而繼之一轉念：某身為一州之牧，位列諸侯，不能夠禁絕邪神淫祠之屬，已經俱現柔懦了，如今教這無賴漢子擋馬即止，日後還能有什麼顏面、有什麼清望？想著，揚手一鞭，馬蹄便向張夜叉踏了去，一踏撲起了一陣黃埃灰土，空中只一鸚鵡盤旋數匝，嘎鳴而去。
此後之事，俱在李顒詩自注之中。這首詩的題目是《匡山夜吟繼赴大明寺有懷寄趙徵君》，主旨乃是藉由西晉時張翰忽然棄官的故事，來隱喻自己逃脫公職、作一日遊的心境。
秋風召我入匡廬，繫馬韉纓綴酒壺。隱約浮詞與君共，微聞高鳥向人呼。去來歸意分明在，多少名心逐漸枯。十里燈簷驚唄早，輕雲渡得此身無？
秋風之思，向出張翰。張翰字季鷹，曾任齊王司馬冏東曹掾，《世說新語·識鑑》說他在北地洛陽任官時，有感於秋風之起，而強烈地思念故鄉吳中盛產的菰菜、蓴羹、鱸魚膾，於是跟人說：「人生貴得適意爾！何能羈宦數千裡以要（按：要，即邀，貪取的意思）名爵？」遂命駕而歸。不多久之後，齊王敗於司馬乂而被殺，當時人都以為張季鷹有「知機」之能。
匡廬，本來就是指廬山。李顒借用這個現成的詞，拆其字意，說的是趙蕤所隱居的大匡山室廬，也是詩家慣技。從詩的內容可以看出：這一天他乘馬登山，還攜帶著酒壺，為的是去和趙蕤商討詩句。詩意所繫，應該就是不耐為官的心情。這一場詩酒之會，或許在上半夜就結束了，揆諸常理，李顒應該不方便留宿，所以到了下半夜，便策馬告別，獨自前往北山之鄰的大明寺借宿。
由於到時尚屬夜分，天色未明，佛子勤劬誦經，其聲遠傳不絕，而令李顒忽生翩翩然遺世獨立之感。而在詩後小注之中，則提及了張夜叉行前示警，以及他當夜在大明寺的遭遇。
李顒今夜將到寺留宿，是他過訪趙蕤的慣例。不消說，早就有刺史衙署之人先行通報，並且預為打點。不料李顒才片腿下馬，就一溜身順落倒地，死了——唯獨心頭尚餘一點溫熱。
大明寺常住一向知道慈元與趙蕤、李客等人熟識，這一夜便遣慈元為使君知客。這份差使，在百丈懷海禪師為普天下叢林制訂清規之前，名目無數，蜀中各寺多稱為「知客水火」，也就是專為貴賓打理膳食，侍奉漿粥。
正在忙碌著水火之事，慈元忽然間聽說刺史死於馬下，便連忙趨至廄前，俯身察看，還期期艾艾地吩咐隨侍的淨奴道：「使君心頭猶熱，去取藥酒懷中熱罨來！」兩句話說完，又輕輕「噫」了聲，居然也一頭栽倒，跟著死了。
熱罨是急救之法，片刻施之，果然奏效。李顒悠悠然醒轉了來，第一句話竟然是：「和尚怎地去得恁快？」
眼前除了倒地不起的慈元之外，只有李顒公廨裡的參軍、從人以及取藥酒來推拿熱敷的淨奴，並無其他和尚。又過了不多時，寺中維那僧也來了，一路慌慌張張地問道：「慈元無恙否？慈元無恙否？」及至看見慈元倒臥在地，全沒氣息，渾身透涼僵硬，這才嘆道：「果然！」
原來李顒一蹶如夢，夢中走在一片荒原曲徑之上；但見道旁一僧，手拄錫杖，待他走近時，突然合掌一揖為禮，道：「使君且留步。冥司有急敕來，謂使君尚有一卷詩文未完，此累世債，須盡償之乃已——此行，且付貧道代勞可矣。」
此外，大明寺的維那僧亦有所見——頃刻之前，他還在堂上指點新僧誦經，忽然看見正殿旁閃過一條緇衣人影，心想：時過寅初，豈容支離院僧夜行？遂趕緊奔逐而出，追隨那身影繞過兩個院落之後，才發現是慈元。慈元為維那僧所阻，不得已而轉過身來，面色煞白，神情哀慼，道：「已代李公大使死矣！某本佛圖戶賤民，難得遂此功果，幾般盤算，實勝在世清修，也便去了！」
維那僧但感身受寒涼，再上下打量慈元的容色，的確沒有半點活人氣息，便問道：「既雲已死，可有遺言囑託常住？」
「小僧近佛日淺，俗心難化；貪嗔不去，慚愧已極，豈敢遺言以累道侶？唯代使君死，彼亦當有深恤。可盡付常住，以充佛前供養。」
慈元所交代的，也只能算一半實在——李顒得此代命之人，在一夕間翻死轉生，既受了驚嚇，也得了了悟。不久之後，他還真效法張季鷹飄然辭官，身歸故里，行前並捐輸大明寺數十萬宦囊所蓄，而留下了「一官何所有？半卷再生詩」的句子。
至於慈元，卻還有一半不算老實的隱私——他多年來在寺外與李客共營生計，不論放貸、質押，以貨以銀，私貯也不下數十百萬錢；這些，他都嚴口吞聲，沒半句吐露。
但是，依《匡山夜吟繼赴大明寺有懷寄趙徵君》詩後小注所記，慈元還是有舍不下的眷懷，見官不得不訴——就在李顒一蹶奄逝之後，「見一僧來，雲：‘貧道自有手實記賬；今代使君死，匆匆不及治，奈何？’」
此處所說的「手實」，原本是唐人編戶齊民的載錄，民戶自操，是一部官署核實年籍丁畝的憑據，上面不但註記了各人應服課役，往往細舉積欠，謂之「記賬」。此賬三年一修，確保有「國人」身份者都能完糧納稅，也服事了應該從公的勞力。和尚是方外人，有度牒，自然不會成家戶，也就不會擁有「手實」，但是慈元聲稱「自有」，意思很明白了：他在世上仍有未了的債務。既有代死之說，李顒當然不好峻拒：
「予曰：‘可代治乎？’僧曰：‘可。貧道於昌明李客處寄資百萬，非可語人，心實苦之。果索得而為營齋奠，期不復墮奴身，於願足矣。’予曰：‘和尚亦有放不下物？’曰：‘未拿起，如何放下？’」
在李顒而言，這一段記述僅付笑談，不外唐人風趣。顯然，他日後並未認真為這個代他而死的和尚追討逋餘，營奠營齋之事，想來是這刺史「去來歸意分明在，多少名心逐漸枯」的徹悟之後，自捐所有而償之。真要追問起令慈元一死不能或忘的這筆錢，居然在三五年間「輾轉散來東海道，間關接濟維揚人」，都結化了無情因緣——此是後話。倒是從張夜叉阻馬到慈元代死的情節，日久而訛生，後來被人繫於劍南節度使章仇兼瓊之身，大約也是因為章仇兼瓊名爵高顯、動見觀瞻之故。
慈元之死，可比江濤滾滾，留在世上的浮沫泡影僅此寥寥數十字，甚且連個名字都未曾記得。為李白帶來這死訊的吳指南也就當是一則閒話表過，他來大匡山，其實另有差遣在身。李客囑他伴送馬匹囊橐來，是要李白出一趟遠門——分別前往九江和三峽，為一兄一弟各發付一份資財。這事來得突然，李客還相當罕見地給了吳指南一份酬勞，指使他陪著李白同行。
吳指南看來意趣盎然，簡直就想即刻動身。李白一則對遠遊感到興奮又彷徨；一則顧慮著大匡山上再沒有人陪伴趙蕤，忽而替他感到冷清，反倒有些不安。
而趙蕤卻有不同的想法。他沉吟了好半晌，才招呼吳指南，把馬匹沿坡拉到子云宅後的槽上去，囊橐也搬進了相如臺，這就意味著不讓來客說走就走了。
「出蜀非同於遊眉州，」趙蕤雙眉攏攢，又來回踱步，逡巡良久，才轉向吳指南道，「此去萬里，須得計議——李商另有吩咐否？」
「只說‘神仙自有安排，聽憑所囑’。」
趙蕤聞言，點點頭，回眸看一眼李白，忍不住笑道：「前此往西南一遊，所囑於汝，尚能記否？」
李白道：「敬領所教三事：‘見大人，須防失對；見小人，須防失敬；見病人，須防失業。’」