薄太后看了看楊貴妃，表示貴妃為先帝妃子，陪睡也不合適。最後，盯住王昭君，說：「昭君始嫁呼韓單于，復為株累弟單于婦，固自用，且苦寒地胡鬼何能為？」大意是，你王昭君遠嫁塞北匈奴，又嫁給兩任單于，身份相對寒微，就沒推脫的理由了。
王昭君羞愧不已。
就這樣，王昭君陪牛僧孺睡了一宿。
據說，這篇志怪是李德裕的一位叫韋瓘的門生寫的，用以打擊政敵牛僧孺。
有人曾拿著這篇志怪告牛僧孺的狀，文宗皇帝看後大笑，說：「牛僧孺安敢稱先皇后為沈婆？此定是他人冒名所作，嫁禍於人。」
文宗皇帝還是很明白事理的。
不管這篇志怪是不是出於李德裕的門生，或者說是不是李德裕授意而作，都說明當時牛李兩黨爭鬥之激烈。除朋黨難，原因之一是滿朝重臣，不是牛黨就是李黨；之二是兩黨背後都有專權宦官的支援。
雖然李德裕的形象更為正面（較之於牛黨成員，在反對藩鎮割據、強硬對待回鶻以及反控宦官方面更有力），但實際上他跟宦官也保持著密切來往。當時，有宦官到地方監軍的慣例。李德裕跟這些監軍宦官保持著良好的關係，因為那些宦官期滿回京後，即可直接向皇帝推薦李德裕。唐武宗時，李德裕被召回長安做宰相，基本上用的就是這個手段。
武宗時代，李德裕備受恩寵，做了六年宰相，把牛黨成員全部掃出朝廷，李宗閔最後死在湖南貶所，牛僧孺也被趕到遙遠的地方。
李德裕為相的歲月，施政風格剛健有力，滿朝清明肅然。但同時，由於出身世家高門，他的貴族做派又非常突出，以奢華為例，按《獨異志》記載：「武宗朝宰相李德裕奢侈極，每食一杯羹，費錢約三萬，雜寶貝、珠玉、雄黃、硃砂煎汁為之，至三煎，即棄其滓於溝中。」也就是說，李德裕每喝一杯羹，價值三萬錢，而且羹湯是用當時稀有的珠玉、雄黃、硃砂等煎熬，熬到第三次後，這些珍貴的藥材就扔到地溝裡。可以設想，連李德裕家的地溝也充滿了寶物。
李德裕又好收藏古董，最喜怪石奇木，「每好搜掇殊異，朝野歸附者，多求寶玩獻之」。他在洛陽郊野修建的別墅平泉莊「去洛城三十里，卉木臺榭，若造仙府。有虛檻，前引泉水，縈迴穿鑿，像巴峽、洞庭、十二峰、九派迄於海門江山景物之狀。竹間行徑有平石，以手摩之，皆隱隱見雲霞、龍鳳、草樹之形。有巨魚肋骨一條，長二丈五尺，其上刻雲：‘會昌六年海州送到。’……」
但是，武宗一死，李德裕的境遇馬上發生了翻天覆地的變化。
唐宣宗以皇太叔的身份繼位，由於深深厭惡前任武宗皇帝（宣宗為親王時，韜光養晦，裝傻充愣。作為侄子的武宗，每每侮辱他。又傳，曾一度意圖謀害他），把這種厭惡也轉到李德裕身上。這只是原因之一。另外一個原因是，事必躬親的宣宗無法容忍這樣一個強勢的宰相每天在自己眼前晃悠，代他處理政事。
李德裕太孤傲嚴肅了，太不怒自威了，這叫宣宗深深地忌憚。每次上朝，看到李德裕，宣宗往往「寒毛倒豎」。這樣的君臣關係算是沒法處了。宣宗繼位沒多久，李德裕就被打發到東都洛陽，雖然丟了宰相之位，卻還不算被貶官。儘管如此，李德裕心裡還是不踏實。他曾向一善於預測的僧人問吉凶之事，僧人指出李近期將有災難，會被貶到更遙遠的南方，且南行之期月內即見分曉。
李德裕鬱悶，努力說服自己不要相信。
「不相信？那這樣，我們做個實驗。」僧人說著，一指地下，「此地下埋有一石盒。」
李德裕立即叫人挖掘，果得一石盒。李德裕大驚，問：「貶至南方既然不可免，那麼我想問一句，還有迴旋的餘地嗎？」
僧人道：「還有這個機會。」
僧人又道：「您這一生，應吃一萬頭羊。到現在為止，您已吃了九千五百頭。也就是說，以後還有吃五百頭羊的日子，官位未絕。」
李德裕長嘆一聲：「法師真乃神人！憲宗皇帝元和十三年，我在北都太原為張弘靖宰相的部下，曾夢見自己行於晉山，那裡是一眼望不到頭的羊群，有牧羊人告訴我，這滿山之羊是我平生所吃之羊。這個奇異的夢被我隱藏數十年，一直未向他人說過，而現在看來，正中禪師之言！」
儘管很悲傷，但李德裕還是抱有一絲僥倖，因為如那僧人之言，自己還有吃五百頭羊的機會，即使每天都吃羊肉，吃完這五百頭羊，也需要十年。也就是說，自己還能顯貴十年。以自己現在的年紀而言，十年足矣！
但計劃趕不上變化。
沒過幾天，振武節度使米暨派人來到洛陽，為表達對李德裕的尊敬，專門一次性地送來五百頭羊作為禮物。
李德裕望著庭院裡的群羊，一時說不出話來。
相國李德裕為太子少保，分司東都。嘗召一僧問己之休咎，僧曰：「非立可知，願結壇設佛像。」僧居其中，凡三日。謂公曰：「公災戾未已，當萬里南去耳。」公大怒，叱之。明日，又召其僧問焉。「慮所見未子細，請更觀之。」即又結壇三日，告公曰：「南行之期，不旬月矣，不可逃。」公益不樂，且曰：「然則吾師何以明其不妄耶！」僧曰：「願陳目前事為驗，庶表某之不誣也。」公曰：「果有說也？」即指其地曰：「此下有石函，請發之。」即命窮其下數尺，果得石函，啟之，亦無睹焉，公異而稍信之，因問：「南去誠不免矣，然乃遂不還乎？」僧曰：「當還耳。」公訊其事，對曰：「相國平生當食萬羊，今食九千五百矣，所以當還者，未盡五百羊耳。」公慘然而嘆曰：「吾師果至人！且我元和十三年為張公從事，於北都，嘗夢行於晉山，見山上盡目皆羊，有牧者十數迎拜我。我因問牧者，牧者曰：‘此侍御平生所食羊。’吾嘗記此夢，不洩於人，今者果如師之說耶，乃知陰騭固不誣也。」後旬日，振武節度使米暨遣使致書於公，且饋五百羊。公大驚，召告其事，僧嘆曰：「萬羊將滿，公其不還乎？」公曰：「吾不食之，亦可免耶！」曰：「羊至此，已為相國所有。」公戚然。旬日，貶潮州司馬，連貶崖州司戶，竟沒於荒裔也。（《宣室志》）
李德裕將此事告訴那僧人，僧人搖頭嘆息：「一萬頭羊已夠數了，看來您被貶之後，不能回還了。」
李德裕說：「我不吃這些羊還不行嗎？」
僧人說：「羊已到了您眼前，吃不吃都已屬於您了。」
李德裕神色戚然，陷入長久的沉默。在他為宰相的時代，對內抑制住中唐以來囂張的宦官勢力，對外採取強硬手段削平藩鎮，併成功打擊、威懾了回紇、吐蕃以及南詔。他特別勤政，每日出入宮闈，與武宗商討軍國大事，名詩《長安秋夜》即是這種生活的寫照：「內官傳詔問戎機，載筆金鑾夜始歸。萬戶千門皆寂寂，月中清露點朝衣。」但現在皇帝換成了宣宗，他失寵了。
收到那令人壓抑、恐怖的五百頭羊後，沒過幾天，李德裕就接到朝廷命令：被貶荊南。隨後，又被貶為潮州司馬。還沒到潮州，又貶為崖州司戶。崖州，即現在的海南三亞。可以想象唐朝時那裡有多麼荒蠻。
南方路迢迢。
在赴貶所的路上，過一條險惡的河流時，李德裕身上攜帶的白龍皮、暖金帶、壁塵簪等無價之寶不慎落入了水中。他長嘆一聲，所謂富貴，也許真的被上天收回了。他並不傷痛失去寶物本身，而只是慨嘆無常的命運。
「牛李黨爭」的半個世紀裡，兩派人物被貶到外地是常事。儘管有僧人的斷言，但李德裕此前還是相信自己有一天能重返長安，就是返回洛陽也行啊。但現在，跟隨自己多年的寶物失去了，是不是預示著自己永遠失去了北歸的機會？
遠貶崖州後，李德裕寫有無限傷感的《登崖州城》：「獨上高樓望帝京，鳥飛猶是半年程。青山似欲留人住，百匝千遭繞郡城。」他再也沒有機會北返中原了。大唐帝國的最後一位鐵腕宰相孤獨地死在了海那邊，中國自東漢中期開始的門閥士族時代至此也落下了大幕。那是唐宣宗大中四年（西元850年）。