但劉整在不經意間與呂文德交惡。呂文德不僅貴為京湖制置使，更是賈似道的第一親信愛將，某種程度上也算賈似道入相後的軍中代理人。鄂州之戰中，高達等將曾公開表示對賈似道的輕蔑，每見其督戰時，就嘲諷說：「巍巾者何能為哉！」而呂文德則「諂似道」，派人呵斥高達：「宣撫（賈似道）在，何敢爾邪！」
交好賈似道，再加上真實的軍功，鄂州解圍後，呂文德即受到宋廷的嘉獎，《宋史全文》中說：「呂文德援蜀之賞未足酬功，今援鄂之勳尤為顯著，特賜百萬，良田萬頃」，一時間風頭無兩。
呂文德與劉整的交惡原因，《元史·劉整傳》中只有五個字：「呂文德忌之」。劉整與呂文德地位相差甚遠，對後者尚不構成什麼政治威脅，所謂的「忌之」，更可能是說劉整桀驁不馴，或許還曾拒絕投身呂文德陣營，令專注于軍中攬權經營呂氏軍事集團的呂文德銜恨。當然，劉整的歸正人身份被猜忌可能是更深層的背景。
呂文德對劉整極盡打壓之能事，《元史·劉整傳》所謂「所畫策輒擯沮，有功輒掩而不白」，也就是說，呂文德每逢劉整出謀劃策就漠然置之，後者建立功勳也不予上報。而最具殺傷力的一招是：舉薦與劉整不和的俞興為四川制置使。
原本俞興與劉整之爭也就是軍中慣常的內鬥，但恰逢此時軍中推行打演算法，遂形勢滑向不可收拾。景定二年（1261年）四月，俞興派人去瀘州「打算軍前錢糧」，劉整自知情勢嚴峻，主動服軟，先以金瓶賄賂俞興，但未被接受；繼而拜詣俞興之母，請她出面調停，仍未成功；無奈之下，遣使赴臨安上訴，卻又未能直達中樞。
此時，向士璧和曹世雄死於打演算法的噩訊傳來，劉整驚懼不已，走投無路之中為求自保，遂密謀降蒙。
劉整的蒙古聯絡人是漢人世侯、成都路軍民經略使劉黑馬。《元史·劉元振傳》記載，劉黑馬派兒子劉元振前往瀘州受降。行前，蒙古諸將懷疑劉整為詐降，「劉整無故而降，不可信也」。劉元振力排眾議：「宋權臣當國，賞罰無章，有功者往往以計除之，是以將士離心；且整本非南人，而居瀘南重地，事勢與李全何異，整此舉無可疑者。」可見，漢人世侯對南宋的國內形勢掌握得很準確，不論是賈似道新政導致的內部傾軋，還是劉整作為歸正人的尷尬身份。劉黑馬激勵劉元振說：「劉整宋之名將，瀘乃蜀之衝要，今整遽以瀘降，情偽不可知，汝無為一身慮，事成則為國家之利，不成則當效死，乃其分也。」
劉元振至瀘州，劉整開門出迎，劉元振為顯示信任無疑，棄眾而先下馬，單騎與劉整相見。次日，劉元振脫去盔甲，與劉整騎馬並排入城，參加酒宴時大醉方休，毫無戒心，令劉整折服。
劉整召士人許彪孫起草降文。《宋史·許彪孫傳》記載，許彪孫說出了一句壯懷激越的名言：「此腕可斷，此筆不可書也。」之後閉門與家人喝藥而死。
劉整召集屬吏告知降矇事宜：「為南者立東廡，為北者立西廡。」在武力脅迫下，「官吏皆西立，惟戶曹東立」，劉整殺掉了這位在歷史上沒留下名字的微末小吏，「與西立二十七人歸北」。
景定二年（蒙古中統二年，1261年）六月，劉整以瀘州等十五個州郡共三十萬戶投降蒙古，被忽必烈任命為行夔府路中書省兼安撫使。瀘州失陷，使川蜀地區宋蒙力量對比更加失衡，南宋在川兩大重鎮重慶府與嘉定府之間的聯絡幾乎被切斷，各支宋軍陷入孤軍作戰的困境。
據《宋史紀事本末》記載，「蒙古既得整，由是盡知國事虛實，南伐之謀益決，而似道自若，不以為虞」。賈似道不僅間接釀成了劉整之降，還嚴重低估了劉整叛降的摧毀性效應。
但輕視歸輕視，討伐還是要討伐的。在宋理宗的親自督導下，賈似道不敢怠慢，即刻調兵遣將，將征討的責任交給了這場叛亂的生事者——呂文德與俞興。
俞興奉命討伐瀘州。瀘州治所此時位於在險要程度上堪比釣魚城的神臂城，俞興雖心術不正，但治軍攻城有條不紊，在晝夜急攻下，神臂城一度危在旦夕。
此時，左右親信勸劉元振說：「事勢如此，宜思變通，整本非吾人，與俱死，無益也。」劉元振拒絕棄城而逃：「人以誠歸我，既受其降，豈可以急而棄之！且瀘之得失，關國家利害，吾有死而已。」糧食將盡時，劉元振殺馬犒勞將士，招募水性好計程車兵持蠟書至成都求援，偽造金銀牌分賞有功將士。援兵來後，劉元振與劉整聯兵出擊，大敗俞興，趙景良在《忠義集》記載，宋軍「士卒擁溺者十八九，流屍蔽江而下」。
劉元振向蒙古報捷時，且自陳擅造金銀牌罪，忽必烈不僅未加懲戒，還嘉獎了他的「通於權變」。劉元振這一系列的表現，完全沒有辜負父親劉黑馬行前對他的忠義之囑。
《元史·劉黑馬傳》記載，瀘州被圍時，劉黑馬已有疾在身，仍然親自督促轉運軍需，佈置解圍瀘州，屬下勸他休息時，他以「國事方急，以此死，無憾」婉拒，後果然病死於當年，也算求仁得仁。
蒙古漢人世侯劉黑馬父子的忠義許國、南宋名將劉整的被迫降蒙，兩相對比之下，高下立見，其中雖不無史書的刻意渲染，但也當思鼎革時代之人心向背。
劉整降蒙第一年，不僅擊敗俞興，還獻上了「益屯兵、厚儲積」的圖宋大計，迅速贏得了忽必烈的青睞。蒙古中統三年（1262年），忽必烈召劉整入朝，授行中書省於成都、潼川兩路。忽必烈政權官制比較複雜，這裡不詳述了，但劉整顯然是被擢升了。
景定四年（蒙古中統四年，1263年）五月，高達又將兵進攻成都，劉整率軍馳援，宋軍懾於「賽存孝」威名，未戰先遁，轉攻潼川時，再為劉整所敗。
在軍功加持下，劉整在蒙古的政治行情扶搖直上，但可能因為不擅經營同僚關係，此時又遭遇了他在宋軍中經歷過的內部傾軋，據《元史·劉整傳》，「同列嫉整功，將謀陷之」。但劉整相較南宋時在政治上已圓融不少，汲取了打演算法事件中的率性教訓，不僅沒有針鋒相對，魚死網破，反而主動退抑，自請分權，「整懼，請分帥潼川」。