「是‘佳人與我違’！」李白不覺笑了，道，「汝若不明白，某更作一首。」
這第二首，便是《江上寄巴東故人》：
漢水波浪（浪字平讀）遠，巫山雲雨飛。東風吹客夢，西落此中時。覺後思白帝，佳人與我違。瞿塘饒賈客，音信莫令（令字平讀）稀。
恰如《荊州歌》虛擬「妾思君」的情境、而不明言「妾是何人、君又是何人」一般，李白江上所憶的「故人」，也不便直指直呼。這「故人」究竟是誰，便十分耐人尋味了。
後世解《江上寄巴東故人》詩者，往往以為「故人」就是尋常舊友，甚至還有誤會其人為「瞿塘饒賈客」，甚至將此五字解為「出身瞿塘、家資豐饒之賈客」者，而當面錯過了頭聯「巫山雲雨」的典故——此處破題即暗示：詩題所憶的故人原本為一女子。較諸《荊州歌》，《江上寄巴東故人》語意更清楚，也因之而更不能明言相思的物件。
在作法上，李白刻意排程，將五言律體中原應出之以對仗句型的頷、頸兩聯寫成散句，卻將頭聯作成對偶，用這翻轉的手段，寫夢醒驚覺身在異地而情境虛空，是寓大巧於大拙的筆法。全詩樞紐在於尾聯出句：「瞿塘饒賈客」——李白自己是以行商的身份出蜀，兼帶著為人交遞簡札，疏通音信，所以「瞿塘饒賈客」當然還是圍繞著「商牒」、「商遞」立意。那麼，這兩句詩中的不言之意竟是：身為投書者，卻收不到內心思慕之人所投之書，於是才轉而對所思所慕者親切叮嚀，瞿塘地方日夜往來的行商既如此頻繁，應該不要斷了音信才是。
便在逆旅之中，吳指南逞酒任性，吵鬧糾纏，非要李白把那「佳人」是誰給說明了不可。李白只不依，推說詩中無人，毋須顛倒妄想。一陣祟亂之下，那吳指南像是倦了，也像是惱了，不發一言，合身臥倒，呼呼吐息，直似一頭喘吁吁的牡驢，噴嘶猶不能解忿，繼之以吼嘯，接著又一骨碌坐起身，亢聲言道：「汝道與某為知交，卻凡事不與某同，漫天情義只恁一嘴說得！」
李白滿不在乎，依然玩笑道：「情義若不說得，如何便知其有？」
吳指南被他一激，更動了怒意，虎瞪著兩眼，道：「汝好生來去，真個自如！彼年去投那趙黑子讀書，便不回昌明；西走峨眉玩耍，亦不同某商量，更無一聲呼喚；某伴汝出峽辦事，汝今日要見古人、明日要見神仙……」說到這裡，吳指南眼圈鼻頭都泛了紅暈。
李白搶忙安撫道：「汝不愜意居停於此，吾等天明就道，逕赴九江也可——」
吳指南一拂大袖，背轉了身，居然哽咽起來：「汝早來寫詩，晚去作文，那些字句東藏一事、西指一事，好大衣冠模樣，好大學問造化；便只某昏懦小人，不知不曉？汝詩文儘教得意，其中有些什麼機關，亦不同某說。汝顧某畢竟是何人？一奴僕耶？一狗馬耶？卻總然不是朋友。」
一口氣說罷，吳指南仰頭向壁，自發了半晌痴，隨手扯過榻旁的罩袍服被，矇頭睡去。星夜過半，忽然驚起，似已不計前事，只把方才睡穩的李白搖醒了，道：「嗚呼呼呀！汝大沉甸，壓某直欲死！」
在那個幻念之中，吳指南化身成一頭白騾，索縛在舟，沿江而下，來到漢水之濱，忽然間成了李白的坐騎，一反於晝間醒時情態，夢境中的李白卻奮力驅之西行，吳指南則鬧起了驢脾氣，執意不肯回頭。於是鞭楚如雨，催趲他逆流泅泳，直向三峽而去……醒來時，吳指南一身熱汗，浹背淋漓，還緊緊捉握著李白的手，道：
「汝終須不與某為伍！」
「此言甚矣！」李白被他攪擾得也煩躁起來，甩脫手臂，道，「寧不知手足骨肉，分離即死耶？」
吳指南鬆了手，翻身復睡，口中卻忍不住喃喃道：「臨行時趙黑子同汝說了許多呆話，某全不曉其義，便只記得‘身外無家’四字——汝並家且不要，則情義付之何用？」
對於吳指南的疑惑與抱怨，李白固有確鑿不移之答，然而他更知道，哽咽在喉的「某當以身系天下」之語，吳指南不會懂得。李白沉默了許久，直到滿室唯餘鼾雷陣陣，才低聲道：「龍吟曾未聽，幽抱獨長掩。」