十萬人的隊伍實在是太過於顯眼了。被劉聰派到幷州（山西省）擔任刺史的石勒在寧平城（河南省）抓住了這一大群人，據說一個跑掉的都沒有。做了俘虜的王衍出身於琅琊王氏，所謂最高等級的名門。稍後出現的王羲之也是琅琊王氏中人。俘虜王衍對石勒說
——我從年輕時候開始就對政治不感興趣，也不管什麼事務。
儘管說不管事務，可王衍卻擔任了國防最高責任人的太尉一職。石勒大怒，說
——你身居要職，對政治不感興趣是怎麼回事？破壞天下的不是你還能有誰！
推倒土牆，把王衍他們壓死了。
攻擊洛陽的總司令是被劉淵稱作「我家千里馬」的侄子劉曜。洛陽城破，懷帝做了俘虜，劉曜把惠帝的皇后、絕世美女羊氏納為己有。時間是永嘉五年（311）六月，晉此時事實上已滅亡。
晉朝的皇族基本上都死了。只有曾被成都王追殺過的琅琊王司馬睿秘密地逃回封地。他聽從了琅琊王氏王導的建議，將建業（南京）作為自己的根據地。
洛陽陷落後，其實懷帝兄長的兒子司馬鄴曾在長安做了一陣子皇帝，稱為愍帝。這個愍帝也被抓，送往平陽並遇害。逃到建業的琅琊王此前一直自稱晉王，在確認愍帝之死後就稱帝了。為了避諱愍帝名字中的鄴，建業此後改稱建康。一般把這個新王朝稱為東晉，而把在洛陽和長安滅亡的晉稱為西晉。
東晉第一代皇帝司馬睿登基是在太興元年（318），稱為元帝。這個政權是靠在山東有超群經濟實力的琅琊王氏和當地土著豪強的聯合所維繫。如前所述，八王之亂以來，不少人士避難南方。東晉把北伐收復失地作為國策。
就這樣，中國再度迎來了分裂時代。南北時代的南方政權為東晉，而在北方，各民族建立了很多短命政權，共五族十六國。史家稱之為「五胡十六國」。因「胡」的稱謂有蔑視的意味，所以現代中國多把南方的東晉也算了進來，並稱東晉十六國時代。
4
司馬睿在建康登基的那年，劉聰死在平陽。太子劉粲即位，但被皇太后的父親所殺。劉粲是個沉湎酒色的昏君，還把手伸向了剛滿二十的皇太后。可能是把生母以外的父親妻妾納為己有的匈奴傳統還在吧。皇太后靳準的父親為此發怒，把留在平陽的劉氏悉數殺死。他向東晉派出使者，但沒過多久就被臣下所殺。南匈奴以劉氏為名，可見其正在漢化，但太子粲這樣的情形也反映出了匈奴的特點。
「千里馬」劉曜此時還在長安，他在去往平陽的途中被擁戴即位，於是折返，以長安為國都，立羊氏為皇后，改元光初。羊氏就成了晉朝司馬氏和匈奴劉氏的兩朝皇后。劉曜問羊皇后，自己和司馬兒（惠帝）哪個好。這真是個愚蠢的問題。
——陛下開基之聖主，彼亡國之暗夫，何可並言！
這是羊皇后的回答。被說成是暗夫，大概死去的惠帝也難以瞑目吧。
劉曜把國號由漢改為趙。他所屬的南匈奴屠各部，漢化度雖然極高，卻有很強的匈奴意識。那個很容易和漢族的漢混淆的國號，應該不會有人喜歡吧。劉曜曾被伯父劉淵立為中山王，而中山是從趙分出來的國家，因此他在應該算作秦地的長安，選擇了趙的國號。
同為匈奴的羯族石勒消滅了王衍十萬之眾，也在謀劃自立。劉聰死後，石勒回到河北省南部的襄國，在此即位。此地曾是趙的舊地，於是他也把國號定為趙。
就這樣，劉淵的匈奴帝國分裂為東西兩個趙國。二者同時存在，故而史家把先滅亡的劉曜政權稱為「前趙」，石勒政權稱為「後趙」。「千里馬」在即位後就開始墮落，成了一個大酒鬼。與此相對，曾是文盲的石勒設立「君子營」，集中了有學識的漢族人，建立秘書集體，認可各民族按各自的風俗習慣生活。
石勒確實是個明君，而他的侄子石虎非常勇猛，殘忍程度可稱得上是人間罕見的。石勒十三年（後趙不用漢的年號制，以即位幾年來稱呼。相當於328），後趙破前趙。原本的千里馬劉曜也因酒色成了駑馬，邊喝酒邊打仗，做了俘虜後被殺。
後趙的中山公石虎於次年捕殺了劉曜的太子劉熙，前趙就此滅亡。這一次，石虎在洛陽坑殺了匈奴屠各部五千多人。333年石勒死後，石虎殺了太子石弘，自己登基。做了皇帝的石虎可以說仍然是個惡魔。他把宮女的頭砍下來放在器皿中凝視欣賞，和牛羊肉一起煮食，殘忍殺人的時候甚至不會介意自己的兒女也在場。另一方面，他又崇拜出身龜茲的僧侶佛圖澄，做前面的事情是因為相信佛圖澄的詛咒術。
石虎曾在石勒的命令下，認了一個叫冉瞻的漢人做養子。據說冉瞻的兒子冉閔是個勇猛絕倫的人物。不管是劉曜還是石虎，雖說都是別人的侄子，也是養子。把優秀的人物收為養子，是打算把他當自家人使喚。養子的確都很活躍，但結局往往是政權被他們所篡奪。冉瞻的兒子冉閔也是這樣。石虎死後，十三個兒子中有八人因自相殘殺而死，還有五個被冉閔所殺。石虎的孫子共有三十六個，也被殺得一個不剩。不止是石虎的家族，冉閔懸賞收集匈奴羯族的首級，因此整個部族都被殺。可以說這是石虎在洛陽坑殺屠各部五千人的報應吧。
——高鼻，多須，濫死者半。
說當時雖然不是羯族，但因鼻高鬍鬚多而被殺的就有大半。中國史書中能零散見到人種方面的特徵，大致是從這個時代起才有的。
冉閔建立了叫魏的漢族王朝，但被鮮卑族的慕容氏打敗，三年後亡國，自己也被殺。
關於鮮卑有各種說法，《後漢書》認為鮮卑是曾在戰國時代讓匈奴頭疼的東胡分支。東漢利用鮮卑，實施了對北匈奴的討伐。鮮卑族出了個叫檀石槐的英雄後，轉眼之間就變強了。這也是游牧民族一齣英傑就瞬間強盛起來的一個例子吧。而在最初的利用過後，東漢也開始頭疼鮮卑族的侵犯了。檀石槐在和漢族接觸的過程中，認為鮮卑不能強大的原因之一是沒有世襲首領，於是他開啟了世襲制。然而也許是信不過兒子們的才能，他把鮮卑族分成了幾個部。他大概是預見到如果繼任者沒有自己這樣的能力，就無法統治整個鮮卑，所以才這麼做的。
魏晉的時候，鮮卑族分為慕容、宇文、乞伏、拓跋和段五部。結束五胡十六國林立局面的北魏，就曾是鮮卑的拓跋部。
而消滅了冉閔的鮮卑慕容部創立了稱為燕的政權。四世紀中葉，在中國北方最為強盛的，東有鮮卑諸燕（前燕、後燕、西燕、南燕），西有藏系氐氏前秦、羌族後秦等。
5
東晉屬於亡命政權。因是以客的身份進入江南，就需要對土著豪強實行上等政策。帶元帝到建康的所謂建國元勳王導，此時可謂順風順水。土著豪強有兩撥人。一撥是擁有吳越傳統、居住在文化水平較高土地上的豪強，如蘇州（江蘇省）和會稽（浙江省），另一個是相對後進的陽羨（江蘇省）、武康（浙江省）等地的豪強。王導通過對前者待遇更優的措施，使二者不能結為一體。蘇州和會稽的豪強對優厚待遇表示感激，就成了保皇派。而受到冷遇的後進豪強就有點反政府性質了。而反政府反得很厲害的話，對東晉朝廷也是不利的，但稍微給些差別待遇，作為分化戰術來用，對東晉就是有利的。
王導有個侄子叫王敦。王敦的丈人是武帝司馬炎，所以同樣是琅琊王氏，他和晉王室的關係更緊密。王敦是貴族，卻特意地舉止粗野豪放。
對元帝來說，在王導和王敦面前是抬不起頭的，所以要儘可能把他們支走。於是為了培養完全屬於自己的心腹，他和劉隗、刁協、戴若思、周顗等人走得很近。
王敦離開建康，到荊州（武昌）指揮軍隊。不過，他看了隨後元帝的人事安排，大概可以看出這是針對自己的佈局。劉隗以鎮北將軍的身份被派到淮陰（江蘇省），這些調動明顯反映出了元帝的意圖。
王敦以「清君側」為名在武昌起兵，所謂君側的奸臣指的就是劉隗和刁協。王敦起兵成功，刁協被殺，劉隗逃亡投奔後趙石虎。王敦入建康，當了丞相，掌握了軍隊。元帝在苦悶之中，於王敦起兵當年也就是永昌元年（322）十一月死去。皇太子司馬紹即位，這就是東晉明帝。明帝因長了黃鬍子而有名，但他在位僅三年。不過王敦在他在位期間死了，其黨徒也被清除。順便說一句，被譽為書聖的王羲之相當於王敦的侄子。
在五歲的成帝即位後，皇太后庾氏的哥哥庾亮領受遺詔，和王導共同輔佐幼帝。庾亮為了維繫東晉王朝，一心想防止軍閥的出現。東漢和魏都是被軍閥曹家、司馬家所取代，而東晉擔心的則是流民軍團的領導人變成軍閥。從北方逃到南方的流民的首領是蘇峻，庾亮計劃把他召到建康，和軍隊分開。知道了這一點的蘇峻拉起了造反大旗，佔領了建康。庾亮逃亡，庾太后身死。平定這次蘇峻之亂的是陶侃。
年輕的庾亮因躁進而導致失敗，這成全了老練的王導，他再度執政。庾亮曾在王敦駐紮過的武昌監督軍隊。他在指揮軍隊的時候，逐漸有了自信，屢屢提議發動北伐。但沒什麼人贊成，所以對他而言直到最後也只是個願望。
庾亮死後，有個叫桓溫的大實力派人物登場。庾亮曾那般擔心過的軍閥在東晉誕生了。桓溫從武昌向蜀出兵，討滅了四川氐族的成漢政權，武功震動天下，權威高漲。朝廷擔心個人的出類拔萃，令揚州刺史殷浩主持北府。東晉有西府（武昌）和北府（揚州）兩大軍事基地。北府是從流民軍團的駐屯地發展起來的，因此實力不如西府，這個人事舉動被認為是朝廷要培養一個和桓溫勢均力敵的對手。
石虎死後，北伐的好機會就來了。北府的殷浩率軍北伐，但被曾歸附東晉的羌族姚襄背叛，因而大敗而歸。戰敗的原因在於殷浩，他不僅妨礙姚襄立戰功，還把他的弟弟們當人質禁閉起來。桓溫立即上書彈劾殷浩，而丟醜的殷浩面對彈劾卻毫無反駁之力，被貶為庶人。就這樣，主持了西府的桓溫把北府的軍權也收入囊中。這就宣告了軍閥的誕生。
桓溫率軍北伐，一度攻到了長安附近。這裡已是氐族前秦的領土了。前秦早早就割完了麥子，因此東晉軍擔心軍糧不濟而撤回。這不是戰敗，必須承認進兵到關中本身就是個巨大的成功。兩年後，桓溫再次發兵北伐，收復了洛陽。
東晉皇帝都很短命。明帝終年二十七歲，他的兒子成帝終年二十二歲，成帝的弟弟康帝終年二十三歲。兩歲即位的穆帝（康帝之子）死於十九歲，而且沒有兒子。成帝的兒子二十一歲時被立，也在二十五歲時死了，被叫做哀帝。哀帝死後，他的弟弟司馬奕即位。司馬奕在位的太和四年（369），桓溫第三次北伐。雖然攻下了前燕，因西方的前秦向前燕派去兩萬步騎，桓溫不得不退兵。不過，桓溫把責任推到豫州刺史袁真身上，憤怒的袁真投降了前燕。為了略微挽回點顏面，桓溫廢了皇帝。他以身體有缺陷的理由廢了司馬奕（因此他沒有帝號，被稱為海西公），立會稽王司馬昱為帝。這就是簡文帝，即位時已經五十一歲了。桓溫打算讓這個老實的簡文帝把帝位禪讓給他，簡文帝卻在桓溫還未做好登基準備時死去，年過花甲的桓溫也在一年後死了。
之後，東晉進入了由穩健派謝安和桓衝領導下的安定期。
簡文帝的兒子司馬曜於372年即位，是為孝武帝。他在位二十四年，卻喜好飲酒，不管政治。北方的五胡十六國中有時還會出現明君，而在東晉，也有皇帝短命的緣故，卻無人可稱得上是明君。
在北方各國中最突出的明君，還是要數前秦皇帝苻堅，儘管他在最後失敗了。