這時武帝已經六十六歲了，而皇太子正值三十八歲的壯年。若武帝死去，因馳道案而憎惡江充的皇太子就會即位。江充感到了危機，於是開始著手陷害太子的工作。詭計多端的他並未直接把目標對準皇太子，而是先從民間到官方引起巫蠱之亂。他準備了無數人偶，到處埋藏。a詛咒了b，c詛咒了d……長安全城都是巫蠱案件，拷問接連不斷，數萬無辜的人被處死。在這樣的前奏曲過後，江充讓一個出身匈奴的叫檀何的巫人上言說
——宮中也有蠱氣。如果現在不除，大禍將至。
武帝因上了年紀，在性格變得狐疑的同時，迷信程度也加深了許多。宮廷內立刻展開了調查，到處都發現了人偶，而以皇太子宮中為最多。這時，皇太子劉據也覺察到了江充的陰謀。因此時武帝身在咸陽西北的甘泉宮，於是皇太子的臣下裝作是皇帝的使臣，逮捕了江充，把他押到皇太子面前。
——趙虜！亂了趙國國王父子還不夠，還要亂我父子！
皇太子如是罵道，親自監斬了江充，並把巫人檀何燒死在上林苑。皇太子被逼到絕路，決定發動政變。
武帝在80公里外的甘泉宮返回，很快就鎮壓了皇太子的政變。皇太子逃到湖縣（河南省），在那裡被官兵們包圍，結果上吊身亡。這是徵和二年（前91）的大案。
4
皇太子的無辜在次年就被證實了，這是隻需調查就可以弄清楚的事情。同時也證明了是江充的詭計洩漏，皇太子的目的只是殺掉江充，並沒有反叛武帝的意思。然而死者不能復生。衛皇后也自殺了，這時距她以平陽公主府上歌女的身份進入宮廷，已經過了四十八年。
武帝於四年後的後元二年（前87）死去。因殺了無辜的皇太子，武帝深感悲傷，在湖縣建了「思子宮」，之後很長時間內沒有立皇太子。
雖然現代人很難理解，但漢代的人堅信巫蠱必然有效，所以才用死刑來嚴禁。
武帝時期的第十一個丞相是劉屈氂，是武帝的異母兄，1968年河北省滿城發現的漢墓主人中山王劉勝的兒子。滿城墓棺內的金縷衣引起了人們很大的興趣。不過劉勝是個享樂主義者，光兒子就有一百二十個，劉屈氂是其中之一。劉屈氂的兒子娶了貳師將軍李廣利的女兒為妻。
被譽為傾國傾城的李廣利妹妹李夫人已然故去，而她所生的劉髆被立為昌邑王。對丞相的兒媳來說，昌邑王就是姑母的兒子，也就是表親。昌邑王如果即位，丞相一家就成了外戚，地位將穩如泰山。如同前述，皇太子政變大案後，武帝還沒有立皇太子。
丞相夫人目光短淺地施行了據說確實有效的巫蠱，施咒的目的是為了讓昌邑王能夠即位。此事被人察覺，丞相被斬，妻兒被殺，首級亦被示眾。因發生在江充引起的大規模冤案後不久，所以應該是有這麼回事情。
此時因匈奴侵入酒泉，貳師將軍李廣利正在遠征途中。自己的妻兒因丞相之事而連坐被收監的事情傳到了前線，於是李廣利打算立下大功以拯救家族。他慌慌忙忙地率兵深入匈奴腹地，被單于親率的五萬騎部隊打得大敗，不得不投降。最後的結果是，遠在長安被收監的李廣利妻兒連同全族被滅門，李廣利不久也因捲入匈奴的內部鬥爭而被殺死。
武帝在臨死前立拳夫人所生的劉弗陵為皇太子。這位昭帝即位時年僅八歲。霍光、金日磾和上官桀成為武帝的託孤大臣。武帝的兒子中，最年長的燕王劉旦認為自己是理所當然的繼承者，因而必然對這個決定不滿。不過武帝的選擇也是有原因的。弗陵的母親拳夫人出身卑賤，而且已經死去，也有人說是被賜死的。即使弗陵即位，也沒有外戚在宮廷中擴張權力的可能。與此相反，劉旦已經是燕王，手裡有自己的一套班子，如果他即位的話，這些人就會乘虛而入，可能就會破壞掉長安宮廷的武帝體制。李夫人所生的昌邑王實際上在武帝死前便已去世，劉屈氂的夫人儘管使用了巫蠱之類的手段，但也對此無計可施。
燕王劉旦出於不滿，和各地皇族取得聯絡，以弗陵並非武帝之子為由掀起叛亂。雖然叛亂很快就被鎮壓下去，但仍有謠言大範圍地傳播開來，說弗陵不是武帝之子而是自稱領受託孤遺囑的霍光的兒子。燕王雖然是叛亂的元兇，但因為有燕王的胞姐、撫育年幼昭帝的蓋長公主的說情，以至親（皇帝的哥哥）的緣故而未被追究。
燕王的叛亂基本上被消滅在萌芽階段，在那之後受武帝遺囑三人之一的金日磾死去。此人實際上是匈奴休屠王的兒子。元狩二年（前121），匈奴的渾邪王和休屠王向漢投降，休屠王因猶豫不決而被渾邪王所殺。休屠王的兒子金日磾雖只有十四歲，但也帶著匈奴眾人入漢，起初雖是官奴，但被武帝發現，做了隨身近侍。武帝死去的時候他被封為駙馬都尉。
霍光是二十四歲死去的驃騎將軍霍去病的弟弟，以奉車都尉的身份一直和金日磾一道侍奉皇帝左右。還有一個上官桀是太僕，原本是儀仗兵，因一身大力被認可，受到武帝喜愛。他是武帝信賴的保鏢，一直在武帝身邊。像這樣侍奉在皇帝左右的人被叫做「內朝」，丞相和御史大夫等政府部門被稱為「外朝」。武帝只對內朝的人託付了後事。
昭帝沒有外戚的族系，就由內朝的實力派進行輔佐。霍光是大司馬、大將軍，金日磾是車騎將軍，上官桀是左將軍，握有兵權。然而，三駕馬車的體制因金日磾之死而崩潰。三頭政治的時候，就算其中兩人對立，還有一人可以充當調停，但如果只有兩人，就會變成一山不容二虎的局面，所以對幼帝來說，就很可能會出現一個獨裁者。
5
最後成為獨裁者的是霍光。他在打倒對手上官桀之前，就著力於削弱外朝即行政機關的權力。武帝的遺囑中除了託付三個寵臣後事外，也提到要起用桑弘羊為御史大夫。桑弘羊是個有能力的經濟官僚。武帝知道自己花錢花得太狠，導致國家財政苦不堪言。他預見到整頓財政將是下一個時代的課題，於是就給了實務經濟官僚桑弘羊以責任和地位。
昭帝時期內朝的實力派是霍光，外朝的實力派則是桑弘羊。霍光傾向於讓外朝僅僅是個辦事機構，是根據內朝精神處理政務的地方。
始元六年（前81）漢召開了鹽鐵會議。為了再次研究此前的經濟政策，漢集中了由各地推薦的賢良、文學之士，舉行政策討論。會議的情形被桓寬的《鹽鐵論》以對話形式記述了下來。
鹽和鐵在武帝時期是政府專賣，到了武帝晚期，酒也加入這一行列。桑弘羊為了使政府的專賣事業更好發展，打算重建財政。雖然是件好事，但外朝掌握了錢口袋的扎繩，權力過大，內朝就會受其制約。鹽鐵會議看上去是霍光為了牽制桑弘羊而召開的。
說起各地的賢良、文學之士，全都是豪強。這些地方上的實力派曾在鹽鐵販賣中獲得了很大利益，但這份利益被國家上收了。所以鹽鐵會議如果召開，就註定會出現反對專賣的聲音，他們主張恢復到建國初的農本主義。國家應向儒教的理想主義前進而不要與民爭利的呼聲很高。
會議後，少部分理想主義性質的政策被採用，但鹽鐵專賣這一情形根本沒有任何變化。如果廢止了專賣，國家的運營就會變得困難，霍光不可能不懂，他只是要制止桑弘羊乃至外朝的特立獨行。
鹽鐵會議次年——元鳳元年（前80），霍光終於清除了上官家族。原本霍光的女兒嫁給了上官桀的兒子，所以兩家還是親家，上官安夫婦所生的女兒是霍光和上官桀共同的孫女。上官安希望女兒被立為皇后，就和丈人霍光商談，卻得到了「七歲尚早」的反對意見。上官安不死心，又在蓋長公主那裡做工作，成功使女兒成為昭帝的皇后。蓋長公主因養育昭帝，對皇家的私事有很大的發言權。
通過這件事，上官家和蓋長公主走到了一起。如前所述，蓋長公主和燕王劉旦是同母姐弟。燕王挑頭的造反被鎮壓，但元兇沒有被處理，不用說也知道是因為蓋長公主的奔走。造反未被追究的燕王仍然對帝位不死心——朝廷中有和胞姐結盟的上官父子，如果和他們聯合，實現自己的野心也不是沒有可能——至少由勝利者一方寫成並流傳至今的記錄中就是這樣寫的。司馬遷已死，所以成書於東漢前期的正史《漢書》就是當時最基本的史料。
上官桀父子勾結燕王，計劃殺死霍光，廢黜昭帝，擁立燕王登基。但事前計劃洩露，一干人悉數被逮捕和誅殺。上官家已然把上官安的女兒推到昭帝皇后的地位，所以廢黜昭帝這種事情不合情理。也有可能是霍光捏造了一個子虛烏有的計劃並以此殺掉政敵。上官氏一族除了昭帝皇后也就是霍光年幼的外孫女，全部被殺。燕王也被皇帝命令自殺。接著外朝的御史大夫桑弘羊也因和上官父子共謀被殺。這樣一來，連外朝的實力派也被消滅了。
從此，霍光就成了漢王朝的獨裁者，把全部權力收於自己掌中。他死於地節二年（前68），故霍光時代長達十二年。此間昭帝年紀輕輕二十一歲就死了，時間是元平元年（前74）。昭帝因無後嗣，昌邑王被召至長安即帝位。李廣利的妹妹李夫人所生劉髆曾被立為昌邑王，在他死後，兒子劉賀世襲了王位。
然而，即位儀式還未結束，昌邑王就被廢了。根據《漢書》記載，昭帝的靈柩還在前殿，他就歡歌、飲酒、鬥虎，和昭帝的宮女淫亂，簡直就是繪聲繪色的暴君。
昌邑王即位時的身份是昭帝的皇太子。於是，昭帝的未亡人、霍光十七歲的外孫女就成了皇太后，也就是新帝的母親。皇太后可以廢立自己的孩子。劉賀被廢除皇太子之號，甚至連昌邑王之位也被剝奪。即位儀式時，從本國就隨行的兩百個家臣除了三個人外，在門外全部被殺。
《漢書》記載的內容如前所述，說昌邑王是這樣那樣的暴虐，家臣們不好好輔佐主君因而被殺。這顯得過於反常，而歷史有時候是反過來寫的。上官父子的政變計劃或許根本沒有存在過，前面提到，這是霍光為了手握獨裁大權而採取的先發制人。昌邑王知道就算即了帝位，只要霍光還在，就只能是個傀儡。他的想法是在即帝位的瞬間發動政變，除掉霍光。因為有這個動向，所以家臣們全部被殺，可以認為他們是為了政變才隨行至長安的。兩百人中未死的三人，因苦諫過昌邑王的原因得以生還，但如果加以推理，可能就是這三人向霍光一方洩露了政變計劃。
昌邑王被廢后，霍光從民間找到一個出乎人們意料的人並讓他即位，這就是巫蠱之亂中死去的無辜的劉據的孫子劉病已。死於三十八歲、當時的兩個兒子已死的劉據，竟然還有個孫子，看上去很奇異。不過劉據十五歲就娶史氏為妻，有個孫子也不足為奇。皇太子死去那年出生的劉病已雖在宗正中也有皇籍，卻是在民間養大的。他已經年滿十八歲，在民間娶妻許氏。他做了比他還小一歲的皇太后（昭帝的未亡人）的兒子，即了皇位，這就是聲名極佳的明君宣帝。
霍光之所以選擇宣帝，除了因為民間的評價很高外，也是因為他沒有實力派族系。宣帝的岳父不過是掖庭令（六百石的官）張賀的部下。
宣帝十八歲時即位，死時四十三歲，在位二十五年。在朝廷內最大的實力人物霍光死後，他悉數清除了霍氏一族。而且這時還發生了匈奴分裂、單于降漢等前所未有的事情。對漢來說，這是個好年景。