胡惟庸卻毫無察覺。在劉基之外，他又將進攻的矛頭對準徐達。徐達是朱元璋的發小，很早就跟著朱元璋去打天下了。至正二十四年（西元1364年）正月，朱元璋稱吳王，以徐達為左相國。洪武三年（西元1370年），朱元璋授予徐達右丞相之職，封「魏國公」，食祿五千石。在明初任職丞相的四人當中，李善長、胡惟庸和汪廣洋最後都「見罪」被殺，只有徐達得以善終。朱元璋曾經如是評價徐達：「受命而出，成功而旋，不矜不伐，婦女無所愛，財寶無所取，中正無疵，昭明乎日月，大將軍一人而已。」這從一個側面反映了徐達在他心目中的地位。
其實，對於徐達這樣一個深得聖眷的人物，胡惟庸是一度想與他交好的。但徐達卻不給胡惟庸面子，對他不理不睬。本來事情到了這裡，胡惟庸也沒什麼損失，反正已經做了宰相，你徐達不願意結成戰略同盟也就罷了，大家井水不犯河水而已。偏偏胡惟庸惱羞成怒，竟然賄賂徐家的守門人福壽來加害徐達，所幸被福壽揭發，事情才得以未遂。因此，徐達「深疾其奸」，對胡惟庸的人品更加鄙視，雖然他沒有藉此向胡惟庸發難，卻還是屢屢提醒朱元璋：胡惟庸這種人不適合當丞相。應該說胡惟庸在與徐達的關係處理上，頗有失策之處，這給朱元璋留下了很差的印象分。從劉基到徐達，胡惟庸在人際關係的處理上昏招疊出，導致朱元璋疑心漸增。
更要命的是胡惟庸行事無所顧忌。劉基死後，他「獨相數歲，生殺黜陟，或不奏徑行，內外諸司上封事，必先取閱，害己者，輒匿不以聞。四方躁進之徒及功臣武夫失職者，爭走其門，饋遺金帛、名馬、玩好，不可勝數」。這裡頭的問題有兩個。一個是他不將君權放在眼裡，凡事先斬後奏，甚至百官上呈的奏疏，也要自己先看了之後再定取捨；另一個則是經濟問題。受賄「不可勝數」，說到底還是相權過大沒有被約束的緣故。由此，胡惟庸由此前同僚間人際關係處理問題轉化為君臣間的權力失衡問題，朱元璋對他的疑心更大了。胡惟庸案至此有了更大的推助力和更順理成章的邏輯基礎。
從洪武九年到洪武十一年，朱元璋做了兩件事。一是「改行中書省為承宣布政使司……悉罷行省平章政事左右丞等官，設布政使一員」，另外，他下令設按察使司、都指揮使司，各司只對六部和皇帝負責，由此割斷中書省與諸司的聯絡，限制其權力的行施。中書省被架空了，丞相的權力被大大削弱。而在洪武十一年（西元1378年）三月初十，朱元璋詔令六部所屬諸司奏事勿關白中書省，有事直接奏報皇帝。史料記載「上於是始疑胡惟庸」。
而接下來發生的兩件事令胡惟庸深切地感受到，皇帝已經對他另眼相看了。一件事情是他的家人因為毆打關吏，被人上奏後，朱元璋勃然大怒，下旨誅殺他的家人，同時「切責丞相」，對胡惟庸嚴詞問責。另一件事是朱元璋幾次批評中書省辦事違慢，工作作風官僚，並且「詰問所由」。（見談遷：《國榷》卷七）這實際上也是對胡惟庸領導的中書省工作實績的不滿。由此朱元璋對胡惟庸的看法從疑到怨，不滿的程度步步升級。
那麼胡惟庸又採取了什麼對策呢？他暗中交結吉安侯陸仲亨、平涼侯費聚，常在家中喝酒聊天，抱怨說：「我等所為多不法，一旦事覺，如何？」此時的胡惟庸雖然隱隱感到朱元璋對自己越來越不信任，甚至也做好了被罷相的心理準備，但實事求是地說，謀逆造反的想法，他還是沒有的。雖然胡惟庸一度讓他的心腹御史陳寧在中書省「閱天下軍馬籍」，但離成事還差十萬八千里。這其實是一個慾望宰相本能的躁動或者說盲動，卻到底於事無補，反而更加招致朱元璋的疑心，令他進一步採取行動以結束目前危險的對峙狀態。
洪武十二年是很微妙的一年。這一年九月，朱元璋因為占城（印度支那古國）派人來大明進貢，胡惟庸卻不向他報告此事而勃然大怒。在朱元璋看來，這是相權對君權的進一步掠奪。胡惟庸雖然事後向他頓首謝罪，朱元璋卻餘怒未消。這也直接導致了胡惟庸的兒子在這一年斃命。《明史》記載，胡惟庸的兒子「馳馬於市，墜死車下，惟庸殺挽車者，帝怒，命償其死，惟庸請以金帛給其家，不許」。皇帝朱元璋是如此的震怒，以致於不給丞相一點面子，在一起交通肇事事故中一定要胡惟庸的兒子而不僅僅是他的司機（挽車者）以命抵命，這充分說明他對胡惟庸的忍耐已到了極限。同年十二月，中丞塗節實名舉報劉基當年是被胡惟庸毒死的。朱元璋聞報後先是拿汪廣洋開刀，認為汪廣洋應該知道此事卻隱匿不報，是為不忠。朱元璋將其貶到海南；後又以他當年在中書省不揭發楊憲罪行為由，將其賜死。正所謂敲山震虎、殺雞儆猴，胡惟庸大禍臨頭了。
其實，塗節舉報胡惟庸當年毒死劉基，朱元璋採信此說之後，胡惟庸就哀嘆：「主上草菅勳舊臣，何有我！死等耳，寧先發，毋為人束手寂寂。」但哀嘆歸哀嘆，權力已經被剝奪得差不多的胡惟庸並沒有能力策反兵部。而繼塗節之後，舉報還在繼續，洪武十三年正月初二，已然貶為中書省吏的御史中丞商暠「亦以惟庸陰事告」——向皇帝舉報了胡惟庸謀逆之事。這當然是查無實據之事，但朱元璋此時需要的只是一個可以致胡惟庸以死地的罪名。正月初六，朱元璋下令誅殺胡惟庸。從舉報到誅殺，這中間只相隔四天時間！調查審訊其實都是走過場，君臣間的怨望到了如此程度，胡惟庸之死當是汪廣洋之死的延續而已。他當然不是開始，更不是結束。因為圍繞胡惟庸案，朱元璋先後讓三萬人成為他的殉葬品。甚至在十年之後的洪武二十三年，李善長也因胡惟庸案賜死。這期間又有陸仲亨、唐勝宗、費聚和趙庸等高官受到株連，朱元璋還為此專門下旨編寫《昭示奸黨錄》佈告天下，以為警戒。
不過，我們要是從制度背景層面看胡惟庸案，或許還可以發現其中深意藏焉。胡惟庸死後第五天，朱元璋宣佈——罷除中書省不設，廢除左右丞相及其一切屬官，惟存中書舍人，以政歸六部。他在朝堂上告誡百官說：「自古三公論道，六卿分職，不聞設立丞相。自秦始置丞相，不旋踵而亡。漢、唐、宋雖有丞相，然其間亦多小人專權亂政。今我朝罷丞相，設五府、六部、御史臺、通政司、大理寺等署，分理天下庶務，大權一歸朝廷，立法至為詳善。以後嗣君毋得議置丞相，臣下敢以此奏請的，置之重典。」朱元璋並下令將他的這番話載入《祖訓》。
由此，胡惟庸終於以他的身敗名裂換取了一種制度的嬗變：君權徹底打倒相權，大明從此無丞相。皇帝大權獨攬。在這個背景下看胡惟庸的仕途起落，他曾經的所作所為其實是無足輕重的——在朱元璋眼裡，他和汪廣洋、李善長等所謂的丞相一樣，都是一枚任其呼叫的棋子。處在什麼位置上不是自己說了算，全看朱的機心，而胡惟庸之所以會成為那枚最有分量的棄子，一切都是時勢使然。他在合適的時間做了一些出格的事情，而這些事情被皇帝朱元璋有目的地加以利用，僅此而已。
只是胡惟庸自己，到死也沒明白朱元璋的機心。對他個人來說，這大概才是悲劇之所在吧。