平維盛敗退回福原，爺爺平清盛勃然大怒，大罵自己的孫子：「你奉命為總大將的那一天，就應該把性命交給天皇，馬革裹屍。但是你現在沒跟敵人交兵就全軍覆沒，竟然還有臉回來？」平清盛氣惱歸氣惱，畢竟面對的是自己的嫡孫，也沒有給任何處分。
富士川之戰後，源賴朝的勢力越來越大。他定下策略，先經營關東，不急於向京都進軍。按照計劃，源賴朝一步一步平定了關東八國，獲得了關東大批的土地。他把這些土地分配給效忠他的武士，使得這些武士緊密地團結在以鎌倉為核心的源氏政權周圍，成為源賴朝的御家人。
為了管理這些御家人，源賴朝專門設立了一個叫侍所的機構，任命親信為最高長官。實際上從這時開始，鎌倉幕府的雛形就已經形成了。
b平清盛火燒三大寺/b
源賴朝崛起之後，平家已經是危機四伏。平清盛英雄暮年，更是昏著迭出，完全不顧源氏武士、皇室、公卿貴族、南都佛教都反對他的不利局面，非得弄得連老百姓也反對他不可。
據說平清盛為了鞏固自己的地位，挑了三百多個半大小子，潛入大街小巷，專門搞輿論監督，探聽有沒有人在說平家壞話。這些半大小子仗著平清盛的威風，披著短髮，穿著奇裝異服，每人手裡拿枝梅花，胳膊上架著一隻鳥，甚至出入皇宮都不報姓名，在街上更是橫行霸道。不論是誰，一旦被他們抓住一點兒把柄，就會被抓去拷問，簡直跟明朝的東廠和西廠有些類似。
一時間，京都雞飛狗跳，老百姓個個惶恐不安，惹得京都民怨四起。富士川之戰後一個月，平清盛下令遷都，要把京都遷到他的老根據地福原。後白河法皇、高倉上皇和安德天皇都接到了強遷令。
平清盛跟宋朝的貿易，就是以福原為主要港口，護佑平家的嚴島神社也在這個地方。平清盛考慮如果跟源氏決戰，必須依靠福原提供給養。更為重要的是，福原是天然良港，平家海上勢力強大，而源家陸軍強大。平家善乘舟，源家善騎馬。遷都福原更能發揮平家的海上軍事優勢。
這個設想雖然不算太離譜，但是具體操作起來談何容易。天皇家毫無思想準備，莫名其妙地被平家武士驅趕著，放棄了花團錦簇的京都，一路遠去蕭瑟荒涼的福原。更何況事出倉促，匆忙遷都，以至於天皇的宮殿都還沒有建造好，只能暫用平清盛在福原的住所代替。
由於福原的基礎設施建設跟不上，再加上比叡山延歷寺的和尚施加了壓力，要求把都城遷回來。於是，遷都半年之後，首都又遷回了京都，勞民傷財，引起了上上下下很大的不滿。一般看日本歷史的人，以為從西元794年桓武天皇遷都平安，到1868年明治天皇定都東京，其間將近一千一百年，日本的首都都在京都，其實有半年在福原。
回到京都之後，平清盛又把矛頭對準了他的一個心腹大患。當初以仁王舉兵的時候，奈良的三井寺、興福寺這些南都的寺院，曾經大力支援過以仁王。興福寺勢力龐大，平清盛本來是希望能夠和平解決。沒想到寺裡的僧兵抓了平清盛手下六十多人，還砍了腦袋。
平清盛一怒之下，派平重衡為總大將，率軍四萬殺氣騰騰直奔興福寺。興福寺僧兵集中了七千多人抵抗。平家軍人多勢眾，佔了上風，南都僧兵雖然屍橫遍野，但是信仰堅定，死戰不退。為了打破僵局，平重衡下令火攻，大火一起，把東福寺、東大寺、興福寺全部燒燬，東大寺和興福寺甚至燒成了一片白地，總共燒死了三千五百多人。
這在日本歷史上是前無古人、無法無天的行為。佛教自從傳入日本之後，一直非常受重視。桓武天皇之後更是以佛教為國教，一直到明治維新，一千多年以來，日本的公卿貴族包括老百姓都是把齋茹素的，頂多吃點兒海產品，只有獵戶之類從事賤業的人才吃肉。即便是在戰場上殺人不眨眼的武士，平時也是吃素的。平家現在竟然膽敢火燒寺廟，行如此人神共憤之事，當時的很多人認為平家必然會遭到報應。
果然，火燒南都寺廟之後，報應就來了。治承五年（1181年）初，平清盛的女婿、一向支援平家的高倉上皇去世。過了一個月，平清盛也得了重病，臨死時留下遺言：「我自從保元、平治以來，屢次蕩平朝敵，作為天子的外祖父，進位為太政大臣，位極人臣，榮華富貴延及子孫，我沒有遺恨。唯一的不足之事，就是沒有見到伊豆國的流放者源賴朝的首級。我死之後，不要給我建造墳塔，也不要給我供養，只要派討伐軍斬了賴朝的首級，掛在我的墳前，就是最好的貢獻了。」
交代完這件事之後，一代梟雄平清盛在京都去世，享年六十四歲。
b放棄京都去西國/b
平清盛死後，平家進入滅亡倒計時。
給平家第一場重大打擊的不是源賴朝，而是源賴朝的一個堂兄弟源義仲。源義仲在源家戰敗之後，潛伏到木曾的山谷裡，躲避平家的追殺。他的父親是源賴朝的叔叔源義賢，源義賢被自己的親侄子、號稱惡源太的源義平所殺。由此可見，源家一直以來就有骨肉相殘的傳統，一直到鎌倉幕府建立之後，依然保留著這一特點。
源義仲在山裡隱姓埋名過了二十年，最終還是暴露了身份，索性一不做二不休，糾合鄉黨，明目張膽地奉了以仁王的令旨，響應堂兄源賴朝，正式拉起了反旗。二十七歲的小夥子源義仲，勇不可當，由木曾出發之後，所向披靡。
第二年6月，平家派了大軍前來征討，結果橫田河原一戰，被源義仲殺得幾乎片甲不留。平家當時能夠領兵上陣的大將已經不多了。平維盛再次出任總大將，調集各地大軍十餘萬，浩浩蕩蕩開進北陸道，意欲一舉蕩平源義仲，重振平家威風，繼而剿滅源賴朝，以雪富士川戰敗之恥。
源義仲在俱利伽羅山麓接戰，利用夜襲，使用中國戰國名將田單的火牛戰術，直搗平家大營，殺得平家軍鬼哭狼嚎，跌落到山澗中摔死的不計其數。十餘萬大軍損失了三分之一，平家很多勇將也喪生於此役。
平維盛舊恥未雪，又添新敗，中興平家之夢，斷滅俱利伽羅山麓，只好再次使出看家本領，一路潰逃。源義仲帶領五萬大軍，緊追不捨，追至筱原，再破平軍，一路乘勝直搗京都。京都附近的僧兵們，為了報復當年平家的燒殺，紛紛響應，義仲的聲勢更是浩大。
滿朝文武公卿十分震恐，後白河法皇緊急召集會議，商討對策。源賴朝早在佔據了鎌倉之後，就曾經給平清盛的弟弟平賴盛寫了一封信，向平家求和。同時也上了一道奏摺，希望天皇能主持源平二家講和，共同輔佐王室。可惜平家把源賴朝的乞和看作是軟弱，一口回絕了。到了此時，法皇只好舊話重提，源義仲要打過來了，咱們怎麼辦？唯一可行之道就是赦免源氏的罪惡，源平講和，共佐王室。
但是平家咽不下這口氣，此議再次作罷。源義仲大軍直奔京都郊外的比叡山下，眼瞅著京都不保。此時平家的主心骨平宗盛一看大勢已去，召集族人，表示要帶著後白河法皇和安德天皇一同到西國避難，徐圖再舉。平宗盛的弟弟平知盛勸哥哥說：「萬萬不可如此，我們平氏本來就是皇族後裔，八世為武臣，不能退讓，寧可決戰於此，刀折矢盡而後已。」平宗盛的兩位叔叔也認為不能放棄京都。
平宗盛一意孤行，執意退守自己的總根據地西國。行前派人去請法皇，不想法皇狡詐，早已不知所蹤。他只好帶著小天皇、皇太后——也就是自己的妹妹平德子，帶著三件神器和族人西去了。
b攘外必先火拼/b
源義仲率領他的東國武士在平家撤退之後大搖大擺地進入了京都。
源義仲是在木曾山溝里長大的，是一個不折不扣的土老帽兒。他來到京都，看到花花世界，錦繡乾坤，眼珠子都掉地下了，覺得這才是人過的日子。他手下的東國兵將也跟他一樣粗野，沒有受過什麼教育，缺乏教養，進都之後大發獸性，姦淫擄掠，無所不為。
京都百姓被這幫人騷擾得不堪忍受，大家兩廂一比較，源義仲還不如平家，兩害相權取其輕，所以開始懷念平氏把持京都的日子。
法皇成功地逃脫平家的綁架，萬萬沒想到來了個更狠的，也是驚慌失措，給源義仲不斷地封官，後來更擢升他為徵夷大將軍，就是武將的最高職位了，並且賜給他大量的領地，希望他能夠約束部下，不要再胡作非為。
可憐朝廷雖然用盡了辦法，可是源義仲油鹽不進，軟硬不吃，朝廷拿他束手無策。光軍紀敗壞倒還是小事，關鍵是源義仲特別執拗，他覺得自己勞苦功高，也想插手皇室內部事務。安德天皇遠逃西國，現在國中無主，源義仲就想立以仁王的兒子做新天皇。
對於源義仲插手皇室的事情，後白河法皇和朝中公卿十分憤恨。他們不顧源義仲的反對，先下手為強，搶先立了高倉天皇的另一個兒子繼位，這就是後鳥羽天皇。源義仲原本一介粗暴武夫，謀立之事沒能成功，憤恨之餘，行為更加兇暴。
法皇坐臥不安，只好誘騙他出師西國去攻打平軍。西國是平氏的根據地，祖宗世代基業所在，人脈很廣，又可發揮平家水師優勢，所以源義仲出師不利。
此時，源義仲的堂兄源賴朝派兩個弟弟源範賴、源義經率領大軍西進。源義仲與源賴朝兩個人雖然都是源氏，但是早有仇恨，源義仲的父親就是被源賴朝的哥哥殺死的。源氏內鬥非常激烈，根本不和。源賴朝耳目甚眾，把源義仲跟皇室之間鬧彆扭的事兒打聽得一清二楚，而且拿到了後白河法皇討伐源義仲的院宣。
源義仲討伐西國不利，回京之後正窩著一肚子火，又聽說源賴朝起兵，懷疑是法皇暗中指使。他一怒之下，放了一把大火，燒了法皇住的殿堂，還將衛戍法皇的武士僧兵六百多人全部砍頭，四十九個公卿撤職，公開囚禁了法皇和天皇。
源義仲如此倒行逆施，更是眾叛親離。很快，源範賴和源義經的大軍逼近京都，源義仲倉皇應戰，一敗再敗，最終落了個身首異處的下場，腦袋被掛在京都御門前。
一代猛將，其興也勃焉，其亡也忽焉，死的時候只有三十一歲。
源範賴、源義經兄弟平定了同胞手足源義仲之後，下一步就是要對平家發動總攻擊。平家的喪鐘敲響了。