當年他與張子容在鹿門山隱居，彼此戲為主考和舉子，互命一題，相應一策。張子容不逾一時而完卷，孟浩然卻在三天之後交出了一首根本離題的詩，亦即那一首結句在「睹茲懷舊業，攜策返吾廬」的《尋白鶴巖張子容隱居》。
張子容當下回了一首詩，調侃他凝思遲散：
巖棲挾何策，詩卷覓亡羊。眉斂三條燭，思空一篆香。
山深留野客，句老校書郎。事業皆如此，迷途不問臧。
這一首五律交錯運用了兩個典故。
中間兩聯，是嘲笑孟浩然詩思遲滯。由於唐人進士科可以延長至夜間完卷，許燃燭三條。斂眉即皺眉，自然是苦思模樣；孟浩然眉毫天生稀疏，自己卻常說是由於苦思求句所致，故張子容一語雙關，既用「三條」來狀述眉稀，復以夜試給燭指其文思遲緩，不能急對。篆香菸散，滿目空無，可謂深謔矣。其下的「山深」、「句老」也都是承繼、發揮此一噱笑。
至於頭尾四句，遙相呼應，取材於《莊子·駢拇》，原文：「臧與谷，二人相與牧羊，而俱亡其羊。問臧奚事？則挾策讀書；問谷奚事？則博塞以遊。二人者，事業不同，其於亡羊，均也。」
張子容從孟浩然的「攜策返吾廬」著意，用兩個好朋友的隱居生活開了玩笑，但也寓藏著深刻的自嘲和自嘆。他把孟浩然比作莊子寓言中的「臧」，因為讀書失神而走失了所牧之羊；而即將上考場拚搏的自己，則像是寓言中因賭博遊衍、疏於放牧，也走失了羊的「谷」。
那麼，姑且將「羊」視為兩人最初隱居求道、不問世事的初衷，整首詩的意旨便是：無論進取或退縮，實在沒有高低尊卑之分；而其喪失了對神仙世界的嚮往、專注與追求，則是一致的。無論用語如何詼諧，這首帶著玩笑趣味的小詩，都道盡了孟浩然不敢輕易赴京就考的緣故。可是，從另一面說，縱使是走投匭那樣一條路，由於種種機緣，投獻之文不能獲知音者之青眼而沉落，仍屬枉然。
驛亭之外，一彎眉月不知何時已經自江頭升起，傍著微茫的月光散射，滿天星斗也一一陳列著了。沿岸取直而展向東南兩天涯處，穿透竹牆上的窗孔看去，尚有平坦而反映著天光的六朝古馳道，就像是另一條平靜無波的長江。而江邊巨木蒼蒼，彷彿碧玉雕琢而成，且看它萬葉翻騰，有如不甘在此佇立千古，經秋風鼓舞挑唆，便振起不計其數的小小翅翼，亟欲向天飛去的一般。
儘管孟浩然思潮洶湧，近二十年來的浮沉往事閃熾心頭，不足以為外人道者，仍不可道，他反覆咀嚼著那一句「若知貢舉，非取此人為狀頭而何？」，幾乎要淒涼地笑出聲來。
崔五、範十三固然不明白他從未應試，實出於膽怯；而此時的李白，則直楞楞盯著孟浩然的幞頭髮傻。那是一頂俗稱軟腳幞頭的巾帽，外觀上漿挺爽俐，堪知裡子襯了皮革，這是從太宗朝平頭小樣的款式逐漸改變而來，根據趙蕤的描述，是武周時期換了花樣，幞頂加高——有說是為了包覆假髻；中宗朝以後，不知什麼緣故，頂上甚至分成兩瓣，若蓮花然，也謂之「武家諸王式樣」。
幾乎就在「武家王樣」廣為流傳、人人仿效的時候，原本幞頭後下垂如帶、接頸過肩的兩隻扁細腳帔也屢變新姿，那是由於庶民開始大量頂戴幞頭，看來與士人略無差等，而士人相當厭惡這情景，遂刻意將垂帶剪短，並彎曲朝上，插入腦後繫帶的結環，以與俗流區別，這正是士人行中不約而同的趣味。
孟浩然所戴的幞頭，便是這種曲環幞頭。李白絲毫沒有懷疑孟浩然作為一個士族之人的身份，但他也不明白：像這樣一個年近不惑、風雅卓絕，似乎文才亦頗受貴幸子弟推重的前輩，為什麼沒有一份功名在身？不過，李白卻未曾料到，孟浩然對他也有著相似的不解：此子既蒙崔五嘉許，復為司馬承禎禮遇，俗謂「後進英發，前途佳好」之流，可是為什麼看上去也還不過就是一個白身呢？
幾乎是同時，也只除了彼此稱謂不同，李白與孟浩然衝口而出，問了對方相同的一句話：
「尚未赴科舉乎？」
他們互相望了一眼，也立刻沉默著迴避了對方的目光。這卻引起了崔五和範十三的好奇，不約而同地，範十三對李白、崔五對孟浩然，也各自搶了一句：「何不？」
「史稱‘後進之秀’，向無‘前輩之秀’，前輩者，受謗而已！」孟浩然苦苦一笑，搔了搔他那已經近乎全禿的眉峰，將此問推給了面前的李白，「文皇帝收天下英雄入彀，當以少年得意為可喜——以某視之，李郎銳志英才，如應一舉，高第可期。」
他的話，綿裡藏針，乃以李白為盾，屏擋了崔五和範十三的追問。東漢時代大儒孔融有那麼兩句名言：「今之少年，喜謗前輩。」一語流傳，唐人常常摭拾了來發牢騷、成感慨，以興時不我予之嘆。說到後半段，孟浩然語氣一轉，再抬出唐太宗來，就更顯得振振有詞了——唐太宗有一次私訪御史臺，行過端門之時，正巧遇上新科進士們頂著頭上的七尺焰光，魚貫而行，皇帝於是躊躇滿志道：「天下英雄，入吾彀中矣！」
此時眾人目光齊集於李白之身，豈能另有他論？這少年儀表堂堂，有如傳說中北魏宮廷裡那面對缽水持清咒而燦生青蓮的佛圖澄，人人都不免要問：「汝何不逕取彼一進士耶？」
平生未遇此問，卻也是遲早必須面對的質疑。李白若直言：「某，賤商之子，不合應舉。」則不免會招致士族的驚疑與輕慢。然而，他也確實不知道該如何捏造身份，而後謾語應對。就在這一轉瞬間，他彷彿回到了大匡山，想起臨行之前，也是在一席酒宴之前，趙蕤問過他：為什麼他的父親為他這一趟遠行所備辦的，是一匹馬，而不是一副車駕？接著，趙蕤語重心長地說了一段話：「鍾儀、莊舄之徒，下士也！不足以言四方之志。一俟風埃撲面，即知胡馬噤聲。汝自體會，乃不至忘懷。」
他必須徹頭徹尾地拋開身世家園，就像那在湍急的江流之中噤聲不嘶的五花馬，而決計不能是身為囚虜卻仍為敵壘君侯演奏故國音樂的鐘儀；更不能是偶於病中吐囑鄉音、洩漏念舊之思的莊舄。從這一刻起，他揮下了斬絕閭里之情的第一劍。
李白不期而然冒出一句：「神仙！」
他是在向幾千里外不知所在的趙蕤求救嗎？顯然不是。他知道：今後的處境無論如何，便是一心所生、一身所造；若非本我之所有，終必不能應對。此刻，他舉盞到唇，仰飲而盡，指望著亭畔那株看似直想沖天飛去的蒼蒼古木，笑著答覆諸席主客：「某恰有一詩橫胸，不吐不快，勉可誦之，以答諸公之問。」
蒼蒼金陵月，空懸帝王州。天文列宿在，霸業大江流。淥水絕馳道，青松摧古丘。臺傾鳷鵲觀，宮沒鳳凰樓。別殿悲清暑，芳園罷樂遊。一聞歌玉樹，蕭瑟後庭秋。
為何不應舉？李白根本不必回覆這一質疑，他還有一席可以滔滔雄辯之言，要讓天下人明白——縱令更不明白也無所謂；他自是一品神仙人物。