夏言的情商之低卻讓人大跌眼鏡。他不但毫不覺得自己傷害了嚴嵩，反倒認為嚴嵩的卑躬屈膝是忠誠的表現，於是放心大膽地交出部務，後顧無憂地與政敵作鬥爭。
他要對付的政敵，名叫郭勳。
郭勳是開國元勳郭英的後代，襲封武定侯。此人在勳貴中是個異類，不但飽讀詩書，而且善於帶兵，對政治也不乏參與的熱情。當年張璁和桂萼進京遭遇圍剿，提供避難所和保護傘的就是這位侯爵。嘉靖建醮修仙，他也是堅定不移並且貢獻甚多的支援者，因此深得皇帝的寵信和器重。
所以張璁退休後，郭勳便成為夏言的頭號敵人。
下手的機會也說來就來。嘉靖二十年，皇帝下令「兼領後軍都督府」的郭勳與兵部尚書一起，到全國各地清理兵籍整頓軍紀。這是欽差，照例要頒發敕書，郭勳卻認為這例行公事對他來說沒有意義，還在辯解的奏摺中說了「何必更勞賜敕」的話，結果被皇帝痛斥為「強悖無人臣禮」。
夏言立即指使監察官員狠狠地告了郭勳一狀，歷數此人作奸犯科的種種不法，就連陳年老賬也都翻了出來。陛下更加怒不可遏，下令將郭勳關進了錦衣衛大獄。
照理說，這就沒有活路了。
嘉靖卻不想置郭勳於死地。他明令指示不得用刑，同時暗示內閣和三法司網開一面。夏言卻裝糊塗，有關部門也跟著裝糊塗。結果，皇帝越是暗示從寬，要求複審，查出來的罪行就越多，擬定的刑法也越重。嘉靖無奈，藉著例行考核的機會將彈劾郭勳的官員降了兩級，也不管用。sup/sup
看來，那位侯爵很是不得人心。
皇帝則開始懷疑夏言做了手腳。
懷疑並非沒有道理。因為根據嘉靖的情報，彈劾郭勳的監察官員與夏言的關係非同一般。這就讓人警惕。夏言不是特立獨行從不結黨營私的嗎，怎麼暗中還有黨羽？
皇帝的心裡疑雲重重，對夏言的態度也發生變化。
這次夏言也看出情況不妙了。但他仍然執迷不悟，居然請嚴嵩為自己出謀劃策。嚴嵩卻馬上明白，夏言已經變成了失去皇帝寵信的垃圾股。因此在嘉靖二十一年六月，當陛下與他閒談問起夏言時，嚴嵩倒地磕頭老淚縱橫。多年來所受的委屈，也在皇帝體貼關懷的催促下，一把鼻涕一把眼淚，添油加醋地和盤托出。當然，他也順便說了別的。
嘉靖見這位六十三歲的老人被欺負成這樣，不禁惡從心底起，怒向膽邊生。儘管皇帝並不反對甚至樂意於看到臣僚內訌，但夏言的做法已是打狗不看主人。龍顏大怒的他頒發手敕到禮部，措辭嚴厲地訓斥夏言。七月一日，又以日全食象徵著以下犯上為由，將這位首輔打發回家吃閒飯。sup/sup
但是事情並未到此為止，因為夏言還活著。
嘉靖十五年閏十二月夏言入閣，推薦嚴嵩接替自己任禮部尚書，此事《明史》之《夏言傳》和《嚴嵩傳》都有記載。
以上見《明史·嚴嵩傳》。嘉靖對嚴嵩的獎勵是：遷吏部左侍郎，進南京禮部尚書，改吏部。
見《明史·夏言傳》，同時參看《李時傳》和《顧鼎臣傳》。另據《明史·宰輔年表二》，夏言在嘉靖十五年閏十二月入閣，顧鼎臣在嘉靖十七年八月入閣，李時在此年十二月去世。
請參看溫功義《三案始末》。
以上見《明史·夏言傳》，夏言知嘉靖痛恨朋黨見本傳最後一段。
見《明史·嚴嵩傳》，參看（清）趙翼《廿二史札記》引《玉堂叢語》。
見《明史·夏言傳》。
以上見《明史·郭勳傳》。
以上見《明史·夏言傳》。