胡惟庸任相之後，走的第一步錯棋就是向劉基開刀。查劉基年表可知，明洪武四年（西元1371年），六十一歲的劉基致仕歸裡——他向皇帝打離休報告請求告老還鄉。按現在的公務員退休制度，六十一歲也的確是可以引退的年齡。但劉基的引退卻實在是有些敏感。一方面朱元璋對他依舊非常重視，以國師待之。劉基退休前，朱元璋向他詢問天象，以作為治國安邦的憑證。劉基告訴他：「今國威已立，宜以寬。」很有為朱元璋定國策的意思。這一年是朱元璋、劉基論相後的第二年，作為一個需要交待的背景是——在該年李善長去職，汪廣洋被提拔為丞相。沒有史料證明劉基對朱元璋如此這般的人事安排有什麼異議。事實上他歸心似箭，並很快隱居青田故里，每日「惟飲酒弈棋，口不言功」。這當是一個智者的選擇。不僅激流勇退，而且韜光養晦。但是正如上文所言，劉基因為論相時口無遮攔，實際上將胡惟庸等都一一得罪了。胡惟庸上臺後，並沒有對已作歸老之計的劉基等閒視之，而是要除之而後快。這裡頭大概有兩層意思。一是報復；二是謹防他東山再起。畢竟劉基的號召力和影響力都在那裡，皇帝朱元璋又對他畢恭畢敬。就仕途而言，胡惟庸或許感覺這樣的人還是很有威脅的。
在劉基年表裡，我們還可以看到，洪武五年（西元1372年）對劉基來說還是個吉年。他「韜光斂跡，屏居山中」。儘管在外面的世界裡，徵虜大將軍徐達出兵攻打擴廓帖木兒，意外遭致敗績，但勝敗榮辱對劉基來說，已恍如隔世。只是這一年下半年的時候，劉基無意間做了一件其實並不明智的事情——建言設談洋巡檢司。奏請朝廷在他家鄉附近一個叫談洋（浙閩交界處）的地方設立巡檢司，以加強管轄。因為該地在元末時曾被方國珍的部隊所佔，後又成為許多販運私鹽的「不法」之人的隱匿地。劉基建言設談洋巡檢司，目的當是出於公心，體現了一個退休官員之桑榆晚情，這當然是一件好事。但就處世謀略而言，劉基此舉實際上是犯了一個大忌，因為退而問政很容易授人以柄；並且在奏請程式上，劉基也犯了一個錯誤——他讓自己的長子劉璉直接將奏請書上呈朱元璋，既沒有通過地方政府，也沒有經過中書省轉呈。胡惟庸見此，立刻就將這個難得的機會利用了。他沒有在劉基的奏請程式上做文章，畢竟這意義並不大。胡惟庸直接切中要害，讓刑部尚書吳雲沐出面上疏，稱談洋一帶有帝王之氣，劉基選擇在此地修墓，導致百姓群起反對，為能成事，劉基才請朝廷設立巡檢司以驅逐那些反對他的百姓，其居心殊不可問。劉基年表記載，西元1373年也就是洪武六年，「劉基因談洋事遭胡惟庸、吳雲沐構陷，朱元璋奪劉基俸祿，基懼，入京謝罪，不敢歸。」具有諷刺意味的是，這一年《大明律》頒佈。朱元璋一方面強調要按律法辦事，另一方面卻僅憑吳雲沐的一面之詞就讓劉基陷入晚節不保的境地，這從一個側面體現出胡惟庸的心計與進攻慾望。
歷史在這裡變得撲朔迷離，很多細節開始含糊不清。劉基養老金被奪，不得不入京謝罪，又不敢歸鄉。這讓胡惟庸進一步羅織劉基其他罪名方面無計可施。洪武七年歲在甲寅，64歲的劉基羈留京師，體弱病衰，賦詩嘆老。博弈者胡惟庸在等待一個徹底失衡的時刻或者說由頭。終於，劉基感染風寒，胡惟庸趁機帶了御醫前去診治。劉基服藥後，病情惡化——「有物積腹中如拳石」。這裡究竟是御醫醫術不良還是胡惟庸在其中做了手腳，歷史沒有給出很明確的答案。總之，劉基年表繼續記載，洪武八年，劉基居京病篤，歸裡而卒。據說劉基臨終前曾想寫一篇遺表，以貢獻定國安邦之策，只是礙於胡惟庸還在臺上，寫了也是枉然。他交待兒子等胡惟庸敗後，再將自己的意思向皇上密奏。
劉基之死對胡惟庸來說，當然是一件好事。不管是不是出於他的主觀故意，總之一個曾經對他有過劣評，「成事不足敗事有餘」的老傢伙終於不會再在他的仕途上產生負面影響了。這正是胡惟庸值得慶幸的地方。但世上事大都「螳螂捕蟬，黃雀在後」，他和劉基的博弈過程或者說結果最終還是被朱元璋利用了。首先是五年之後，也就是洪武十三年正月，中丞塗節告胡惟庸逆謀，同時，揭發他毒死劉基一事。雖然沒有具體證據表明胡惟庸是如何毒死劉基的，當年參與診治劉基的御醫們也不站出來做個佐證，但很顯然，朱元璋是採信了塗節之毒死一說。甚至在洪武二十三年，朱元璋還對劉基的次子這樣說：「劉伯溫他在這裡時，滿朝都是黨，只是他一個不從，吃他每（們）蠱了。」又說：「你休道父親吃他每（們）蠱了，他是有分曉的，他每（們）便忌著他。若是那無分曉的呵，他每（們）也不忌他。到如今，我朝廷是有分曉在，終不虧他的好名。」還說：「劉伯溫在這裡時，胡家結黨，只是老子說不倒。」朱元璋最後說：「後來胡家結黨，吃他下了蠱，只見一日來我說：‘上位，臣如今肚內一塊硬結怛，諒看不好。’我著人送他回去，家裡死了。後來宣得他兒子來問，說道脹起來緊緊的，後來瀉的鱉鱉的，卻死了，這正是著了蠱。」
但是，正所謂歷史的細節總是含糊不清。朱元璋稱劉基吃胡惟庸的蠱了畢竟也只是個猜測而已。在發生在洪武十三年的胡惟庸案中，逆謀是關鍵詞，而毒死劉基則是為了證明胡惟庸品行不良的一個獨立事件，具有附帶意義罷了。其實對帝王來說，解釋權就是裁判權。胡惟庸逆謀也罷，毒死劉基也罷，箇中真有合乎情理的邏輯鏈條嗎？一切都在朱元璋的機心裡。說你逆謀你就是逆謀，說你毒死就是你毒死的。現在，朱元璋的機心從雲山霧罩開始慢慢明朗，毫無疑問，胡惟庸已經招致了這個帝王的疑心。