同樣是在建興四年（316），匈奴人攻陷了長安，西晉滅亡。遠在建康的琅邪王司馬睿即位稱帝，已是勢在必行。但是，司馬睿是司馬懿的兒子琅邪王司馬伷的孫子，只好算皇室疏宗，血統不很過硬，所以登基需要更多前戲，劉琨這樣的人物也就必不可少。《世說新語》中收錄了這樣的對話：
劉琨雖隔閡寇戎，志存本朝，謂溫嶠曰：「班彪識劉氏之復興，馬援知漢光之可輔。今晉祚雖衰，天命未改。吾欲立功於河北，使卿延譽於江南。子其行乎？」溫曰：「嶠雖不敏，才非昔人，明公以桓、文之姿，建匡立之功，豈敢辭命！」（《世說新語·言語》）
劉琨派自己的外甥溫嶠南下江東勸進，帶去了這番豪言壯語，還帶去了一百八十位北方將領聯名的勸進上書。理所當然地，溫嶠在江東引起了「舉朝屬目」，司馬睿也「器而喜焉」。這是司馬睿變成晉元帝的過程裡，必不可少的點睛之筆。
（五）祖逖的手腕
晉元帝大興二年（319），祖逖的軍隊和石勒手下的將軍桃豹在蓬陂塢對峙。兩軍駐紮在同一座大城的兩個堡壘裡，相持四十多天，雙方都已經筋疲力盡，並且，糧食都快吃完了。
於是祖逖用布囊盛土，調集一千多人往高臺上運送，就好像是運米的樣子。另外，單獨有幾個人停在道邊休息，只有他們的擔子裡，裝的是真正的白米。
不出所料，桃豹計程車兵襲擊了落單者。那幾擔白米讓他們誤以為祖逖軍糧充足，所以失去了戰鬥下去的勇氣。然後，祖逖又成功劫獲了對方補給上來的糧食，於是桃豹只有帶人在夜幕掩護下逃走。
這可能是祖逖北伐的故事中最著名的片段，以其戲劇性而為人所津津樂道。然而這種勝利並不是關鍵性的，祖逖面對的形勢仍然嚴峻且錯綜複雜。
被阻而不得過江的流民，當然還有豫州境內原來的居民，都在這一帶建立塢堡以自守。依據形勢，塢堡組織的領袖一會兒接受晉政府的冊封，一會兒又依附於石勒。他們彼此之間是結盟還是攻戰，也變化無常。除了石勒的後趙政權這個最大對手外，稍有不慎，這些大大小小的塢堡，也都完全可能變成敵人。
北伐剛剛開始的時候，看來祖逖並不太善於和這些塢堡主打交道。由於交際不善引發的戰鬥持續了幾乎兩年，還有一個本來傾向於東晉的塢堡主因此倒向了石勒。這時祖逖調整了策略。儘管無法確切地知道他使用了什麼方法，但他確實使幾股頗具實力的半割據力量願意接受他的指揮。對於黃河南岸那些較弱小的塢堡主，祖逖則顯得態度開明。由於他們往往已經把兒子送到石勒那裡作為人質，所以祖逖聽任他們同時歸附晉趙雙方，又不時派出游擊部隊假裝抄掠他們，以向後趙方面表示他們和自己沒什麼交情。
這種富於人情味的做法讓這些塢堡主感恩戴德，從此，他們就成了祖逖在石勒那裡的眼線。情報戰上的先手，使祖逖在戰場上可以接連獲勝，他幾乎收復了黃河下游南岸的全部地區。出於慎重，石勒停止了在河南的軍事活動，於是這裡的生產，終於得到了一點恢復的空間。
兵荒馬亂的年頭，這一點點恢復足以使人感念無已。一次軍民聯歡的酒會上，豫州耆老把祖逖比作父親，又把當前的形勢描述為「三辰既朗」，大意即是，祖將軍庇佑下的天，是明朗朗的天。
石勒開始向祖逖示好。他派人修繕了後趙境內祖逖先人的墳墓，又請求祖逖開放邊境的貿易。祖逖的回應具有典型的中國式智慧，即不予回應。
但這絕不意味著祖逖不同意石勒的建議，他只是不給答覆而已。沒有許可證的交易結果也相當理想，「收利十倍，於是公私豐贍，士馬日滋」。
應該承認，《晉書·祖逖傳》中描述祖逖北伐的勝利，不無誇大的成分。祖逖去世後不到二十年，東晉一位大臣回顧他屯田的收益，結論也相當悲觀。所以，此時的局勢很可能是，祖逖確實取得了很大的戰果，但也無力再打下去，暫時的和平與通商，對雙方都是最好的選擇。
宋代、明代計程車大夫們，對和談有一種條件反射似的敵意。東晉時還不至於如此，但反感一樣是存在的。比如咸和八年（333），石勒遣使到建康修好，晉政府就焚燒了他的禮物。公開接受石勒的要求很可能會引起不必要的不滿情緒，所以祖逖沒有這樣做，而寧可選擇睜一隻眼閉一隻眼的方式。這樣即使被追究起來，無非就是瀆職，而對於晉政府的官員來說，恐怕很少有比瀆職更普遍和微不足道的罪過了。
（六）英雄之死
劉琨對人說，祖逖是開朗通達的人，他還記得，自己這個朋友少年時代就讓一代梟雄王敦讚歎。
劉琨稱祖車騎為朗詣，曰：「少為王敦所嘆。」（《世說新語·賞譽》）
聽說祖逖被任用時，劉琨又寫信給自己的親朋故舊說：「我枕戈待旦，立志梟平逆虜，常擔心祖逖搶在我的前面。」
但他沒有機會跟祖逖競爭了。甚至於，劉琨沒有能夠看到大興三年（320）祖逖所取得的北伐以來的最大勝利。在此前兩年，劉琨已經遇害。
劉琨一直和鮮卑部落關係良好，曾在戰場上多次得到他們的支援。所以失去陽曲之後，他遠走幽州薊城，投奔了鮮卑人段匹。劉琨仍然保持著他作為詩人特有的樂觀，他熱烈地設想著怎樣在河朔地區為朝廷立功，怎樣用晉元帝贈送的名刀，親手割下劉聰、石勒的頭顱。但是鮮卑部落內部從來都不是穩定的，最糟糕的是，劉琨的兒子捲入了他們的內亂。
段匹很尊敬劉琨，應該說，這個鮮卑人是一個正直的好人，然而他不是聖徒，他不能不顧慮別人利用劉琨的號召力來生事，那對他將構成致命的打擊。
劉琨預感到自己非死不可，於是寫下了這樣的詩句：
握中有懸璧，本自荊山璆。
惟彼太公望，昔在渭濱叟。
鄧生何感激，千里來相求。
白登幸曲逆，鴻門賴留侯。
重耳任五賢，小白相射鉤。
苟能隆二伯，安問黨與讎？
中夜撫枕嘆，想與數子游。
吾衰久矣夫，何其不夢周？
誰雲聖達節，知命故不憂。
宣尼悲獲麟，西狩涕孔丘。
功業未及建，夕陽忽西流。
時哉不我與，去乎若雲浮。
朱實隕勁風，繁英落素秋。
狹路傾華蓋，駭駟摧雙輈。
何意百鍊剛，化為繞指柔。
詩的題目是《重贈盧諶》。後來這首詩令許多讀者感動不已，尤其是最後幾句更被反覆傳唱，然而當時它卻並沒有打動獲贈者。盧諶誠惶誠恐地回答說：「這詩裡有帝王的大志，不是做臣子的所該說的話。」盧諶是個庸人，劉琨應該也是知道的。大概是這個時候他太想找人傾訴，但卻實在找不到人了吧。
反覆猶豫之後，段匹終於還是動手了。劉琨是被絞死的，根據漢人要留個全屍的觀念，這是一種很厚道的殺人方式。不厚道的是東晉的執政者。段匹的實力還很強大，他之所以效忠朝廷，完全是出於個人的道德感，朝廷沒有任何手段可以控制得了他。所以東晉方面害怕因為紀念劉琨而得罪了段匹。最終，經研究決定，東晉的中央政府顧全大局，沒有為劉琨發喪。
三年後的某個夜晚，祖逖仰望天空，他看見豫州的分野上，突然多了一顆妖異的星星。祖逖有一種不祥的預感，他說：「這是為我出現的吧。」
這一年七月，朝廷任命尚書僕射戴淵為徵西將軍，都督司、兗、豫、並、雍、冀六州諸軍事，也就是說，他是祖逖的頂頭上司。河南已經恢復，現在要有人來過江摘桃子了。
何況，戴淵是江南本地人。在北方，他沒有故土，沒有先人的墳塋，沒有對童年的記憶，也沒有失散或死難的親人和朋友。這樣的人對光復中原歷來最不熱衷，安排戴淵來擔任上面這個職務，朝廷的政策意圖，也可說是太明顯了。
祖逖已經病重，糟糕的訊息還在不斷傳來，荊州的王敦和晉政府的矛盾正在不斷激化。一旦發生內亂，要對外進兵那就更不可能。當年，祖逖嚇退過王敦直接干涉朝政的念頭：
王大將軍始欲下都處分樹置，先遣參軍告朝廷，諷旨時賢。祖車騎尚未鎮壽春，瞋目厲聲語使人曰：「卿語阿黑：何敢不遜！催攝面去，須臾不爾，我將三千兵，槊腳令上！」王聞之而止。（《世說新語·豪爽》）
大將軍王敦當初想領兵到建康去，處置朝政，安插自己的親信為官。他先派一名參軍向朝廷通報，並向當時的賢達暗示自己的意圖。當時車騎將軍祖逖還沒有去鎮守壽春，也就是還在建康城裡。祖逖怒視使者，厲聲說：「你去告訴阿黑，怎麼敢如此無禮！趕緊收起老臉回去，如果不這樣的話，我帶三千兵，用長矛戳他腳把他攆走！」王敦聽說之後，也就放棄了這個計劃。
但是現在，祖逖已經沒有力氣像當年那樣喊著王敦的小名瞋目厲聲大喝了。他的最後一點精力，只能留到營繕武牢城的壁壘上，他知道，一旦自己不在，後趙的軍隊就會殺來，豫州百姓平靜的生活，將就此結束。
很多人都看見了那顆奇怪的星星，對朝政的不安使他們得出了同一個結論：今年西北大將當死。
九月，祖逖去世，豫州的百姓哭之如喪父母。譙、梁兩地，更是為之立祠祭拜。自然，那些當年遭他劫掠的流民的冤魂，已經無人過問。
當祖逖最初冀圖北伐時，晉政府只給了他一千個人的口糧，三千匹布，沒有士兵，沒有兵器盔甲。沒有那骯髒的第一桶金，祖逖只能一事無成。他轉型得非常及時，局勢稍微安定，他就變成了一個勤政、廉潔而又公平的地方官員。或者不得不承認，當時那種情況下，道德上也許有人可以比他更高，但那幾乎註定是空洞的崇高。但論做事情，不可能有人做得比他更好了。
有時，想到這一點，不免使人心頭髮堵，或者對歷史產生更悲觀的感想。所以，我還是寧可把下面這個場景放到文章的最後。
劉越石為胡騎所圍數重，城中窘迫無計。劉始夕乘月登樓清嘯，胡賊聞之，皆悽然長嘆。中夜吹奏胡笳，賊皆流涕，人有懷土之切。向曉又吹，賊並起圍奔走。（《藝文類聚》卷四四引《世說新語》）
晉陽城被重重包圍，城中窘迫無計。於是，劉琨乘著月色，登上城樓，發出清嘯，城外的人聽見，都不禁悽然長嘆。月過中天，劉琨吹奏胡笳，悲涼激越的音樂中，胡人騎士們開始流淚，乃至低聲啜泣，每個人心頭，都泛起故鄉大漠的風光。等到天將黎明，劉琨再次吹起胡笳時，他們都忘了戰爭，紛紛撥轉馬頭，絕塵而去。
這一段《世說新語》的佚文，為《晉書·劉琨傳》徵引，卻沒有被收入《資治通鑑》。司馬溫公是一個平實嚴謹的歷史學家，大概，他不能想象會有如此傳奇性的事件。
但如果這是事實，倒也並不難以解釋。戰爭和仇恨使人變成野獸，變成殺戮機器，然而總是這樣，當獸化達到頂點的時候，人也會變得無比脆弱。靈魂深處有某個點，在那裡，他將一觸即潰。
清嘯吹笳，並不是為了退敵刻意制定的一個策略。劉琨只是累了，感到厭倦，他需要一個空曠的地方，用自己最熟悉的方式去宣洩一下情緒。他走上城樓，這時他的眼中沒有敵人，也沒有聽眾。
於是，劉琨吹奏出的旋律，就輕輕敲打在這個點上。
晨光熹微，胡騎的背影，在煙塵中漸漸隱去，劉琨緩緩放下手中的胡笳，他還沉浸在自己的狀態裡，沒有發覺城外的變化，只覺得心裡柔軟到了極點。