嚴嵩的最後一張面孔是沮喪。
沮喪是因為遭遇了一個人，徐階。
在嚴嵩的仕途履歷表上，從嘉靖二十三年九月升任首輔直至嘉靖四十年，其官場曲線一直是向上的。嘉靖二十四年七月，嚴嵩加太子太師。同年十二月，加少師。嘉靖二十五年八月，加特進光祿大夫。嘉靖二十六年十月，兼華蓋殿大學士。嘉靖二十七年八月，嚴嵩加升正一品俸。嘉靖三十六年八月，改兼支尚書俸。嘉靖三十八年正月，改支伯爵俸。嘉靖三十九年八月，加歲祿二百石。我們從中可以觀察到，嘉靖二十七年之前，嚴嵩升的是官職；嘉靖二十七年之後，嚴嵩官職已經升無可升，只能在職稱工資上更上層樓。從一品俸到一品俸兼支尚書俸，再到伯爵俸，最後在伯爵俸的基礎上加歲祿二百石，嚴嵩事實上領的不僅僅是工資，而是皇帝對他的恩寵。
其實，在嘉靖四十一年嚴嵩出事之前，有關他的各種彈劾就層出不窮。嘉靖三十二年正月，兵部武選司郎中楊繼盛上疏彈劾嚴嵩十罪五奸；三月十一，巡按雲貴御史趙錦上疏彈劾嚴嵩恃權縱慾；嘉靖三十七年（西元1558年），刑科給事中吳時來上疏彈劾嚴嵩貪財納賄。這些彈劾無一例外地以失敗告終。彈劾者的命運或革職為民，或流放充軍，更有甚者付出了生命的代價。比如彈劾者楊繼盛先是下詔獄，杖一百，隨後在嘉靖三十四年十月二十九，被斬棄市，時年僅四十歲。這些人的遭遇說明皇帝對嚴嵩的恩寵確保了他的仕途可以在一段時間內安然無恙。如果我們在這些背景下看徐階暗戰嚴嵩的話，那的確是一齣跌宕起伏的好戲。而嚴嵩敗在徐階的算計之下，最後一張面孔以沮喪示人，又彷彿讓人想到了那四個字——因果輪迴。
徐階比嚴嵩小二十三歲，他們兩個的的確確是兩代人了。在仕途起點上，徐階自然要落後得多。嚴嵩是正德二年（西元1507年）授翰林院編修的，徐階則在嘉靖二年（西元1523年）以探花及第，授翰林院編修。也就是說徐階踏上仕途要比嚴嵩晚了整整十六年。嘉靖三十一年三月初九，徐階以禮部尚書兼東閣大學士，參與機務。但在此之前，嚴嵩已經做了八年內閣首輔，是個老資格的相國了。徐階如若在這樣的比對情況下挑戰徐階，當然很傻很天真。
不過真實的歷史情境是徐階沒有出手，而是嚴嵩出手了。或者說嚴嵩一直未雨綢繆，在警惕徐階可能的崛起。徐階這個人總的來說也是有才的。早年即「工詩文，善書法」。他之所以以探花及第，說明文章寫得相當不錯。他進入仕途彷彿是嚴嵩當年的克隆版——以撰青詞博得皇帝賞識，在禮部任職之時就和其他閣臣一起被召至西廬為皇帝寫青詞，還獲賜飛魚服等，隱約已經顯出要發達的跡象來。嚴嵩之所以警惕徐階其實不僅僅於此，還有一個他很忌諱的原因是徐階當年進入仕途是夏言薦用的結果，換句話說他是夏言的人。因此，嚴嵩要盡一切可能阻止徐階上位。比如嘉靖三十年（西元1551年）二月，嚴嵩就向皇帝打小報告說：「徐階所乏非才，但多二心」。
但徐階這個人也的確是老辣。他不像夏言那樣傲慢、高調，而是夾起尾巴做人，韜光養晦，以圖發展。為此他兩手抓，兩手都硬。一手抓嚴嵩——「謹事嚴嵩」，一手抓皇帝——更加「精治青詞」，在夾縫中求生存，求成長。
正所謂世上事此消彼長。一方面徐階在成長，另一方面嚴嵩在衰老。嘉靖四十年，嚴嵩81歲，作為內閣首輔，很多政事他已經轉給兒子嚴世蕃代為處理。最要命的問題是「嚴嵩受詔多不能答，所進青詞又多出自他人之手」，皇帝開始有些冷淡他了。但即便如此，要是沒有更大失誤的發生，嚴閣老或許可以在仕途上以全始終的。只可惜這年十一月，嚴嵩還是出現了失誤，或者說他犯了一個重大的政治性錯誤——由於嘉靖皇帝當時所住的西苑永壽宮失火，嚴嵩建議他搬到南城離宮去住。南宮曾是英宗皇帝先被俘虜歸還後被幽禁的地方，皇帝認為嚴嵩此舉為「且欲幽我」——相反的，徐階在此事上要善解人意得多，他建議皇帝重修永壽宮，並且用當時修建奉天殿、華蓋殿、謹身殿三大殿的餘料重修，以節省國庫開資。皇帝一聽，當然是龍顏大悅，並讓徐階之子來督造工程。次年三月，永壽宮修復，嘉靖皇帝加官徐階為少師，徐差不多與嚴嵩有同等的政治待遇了。
但嚴嵩最後的落敗還不在這件事上，而是在嘉靖四十一年（西元1562年）五月十九，御史鄒應龍受徐階暗使，上《貪橫陰臣欺君蠹國疏》，彈劾嚴嵩父子弄權黷貨，多行不法事。鄒應龍彈劾說：「嚴嵩父子廣置良田美宅於南京、揚州等處，無慮數十所，抑勒侵奪，怙勢肆害，所在民怨入骨……嚴嵩受國厚恩不思報，而溺愛惡子，弄權黷貨，宜亟令休退，以清政本。」這樣的一個彈劾要是放在嘉靖四十年之前，鄒應龍恐怕凶多吉少。但是嘉靖四十一年的嚴嵩昏招疊出，已呈失寵之勢，所以鄒應龍彈劾正逢其時。皇帝馬上下旨：嚴嵩放縱嚴世蕃，負國恩，令致仕還鄉，嚴世蕃則下於獄。
其實嚴嵩在最後出事之前，也曾重施柔媚身段，向徐階乞憐。他在家中擺酒設宴，並讓子孫家人跪拜徐階，自己舉杯說：「嵩旦夕且死，此曹惟公哺之。」其沮喪神情難以言表。但事已至此，嚴嵩頹勢難挽。嘉靖四十四年，嚴嵩被貶官籍，兒子嚴世藩處斬，家產亦被抄沒。嘉靖四十六年嚴嵩病死，終年87歲。嚴嵩雖得高壽，卻沒能善終。死前的他寄食墓舍，死後「不能具棺槨，亦無吊者」（見《國朝獻徵錄》卷十六《大學士嚴公嵩傳》）。嚴嵩的仕途人生，以清純始，以沮喪終，恰似走了一個輪迴，繁華落盡，崢嶸畢顯，最後結局不可謂不蒼涼矣。