至元四年（南宋鹹淳三年，1267年）秋，襄陽之戰正式開打。在前哨戰安陽灘之戰中，蒙古水軍居於劣勢，一度連主帥阿術都險些被俘於漢水渡口，最終通過苦戰才擊敗宋軍。此戰更加堅定了蒙古人攻襄的兩大基本戰法：築城圍困，加強水軍。
到至元五年（南宋鹹淳四年，1268年）九月，阿術和劉整繼襄陽東南的鹿門堡後，又築堡於襄陽東北的白河口。白河堡與鹿門堡於次年初建成後，基本切斷了襄、樊南北向的陸路交通。
還有水路。在擴建水軍的同時，蒙軍又於漢水中流築起高臺，上設弩炮，以配合水軍作戰，削弱南宋的水軍優勢。
呂文煥驚懼於深陷重圍，即刻派人告急於呂文德。呂文德聞訊後，不僅沒有立時出兵解圍，反倒以為是呂文煥誇大其詞，意圖邀功，怒斥信使說：「你不要妄言邀功請賞。就算真築城了，也必定是假城。襄樊城池堅深，兵儲可支用十年，你去轉告呂六（呂文煥排行第六），令其堅守。如果劉整真的敢妄築城寨，待來年春天江水上漲時，我將親率水師一舉蕩平。就怕我到的時候，他們早跑了。」
呂文德狂妄輕敵如此，也難怪蒙古人得以在襄陽城外有條不紊地築堡，漸成氣候。
不過，呂文德的軍事樂觀主義也事出有因：襄、樊的堅如磐石，實力曾遠超蒙古的水師，可破重圍的舟師水路赴援戰術，這三者共同強化了呂文德的傲睨自若。
呂文德低估了蒙古水軍的造艦軍備競賽，更低估了忽必烈以傾國之力打造水軍乃至攻克襄陽的不拔之志。
呂文德輕敵背後，可能也有賈似道的因素。如前所述，賈似道更為迷信鄂州的戰略重要性，而相對忽視襄、樊之戰略地位。
呂文煥見援軍未至，只得率領襄、樊守軍屢次主動出擊，以打破日趨收緊的包圍圈。但一來，蒙古人有騎兵的野戰優勢；二來，蒙古人的防線有堅固的築堡做支撐，呂文煥苦戰未果，反損兵折將。很顯然，僅靠襄、樊孤軍的自身力量，擊破重圍已基本無望。
更何況，蒙古的圍城大軍蜂擁而至。至元六年（南宋鹹淳五年，1269年）二月，史天澤奉命率新簽發的兩萬民兵增援襄陽，於襄陽城外修築一條長達數十里的塹壕柵壁，並在城南一帶構建一字城，連亙諸壘，貯存糧餉。
襄樊之圍，逐漸成為南宋的緊箍咒。
為阻礙宋軍增援襄、樊，蒙軍不斷派遣偏師襲擾京湖諸州縣，阿術於至元六年（1269年）初親自率軍深入荊襄，俘萬人而還，削弱了襄陽外圍州郡的宋軍實力。
忽必烈甚至策劃過自海上奇襲南宋腹地，於至元五年（1268年）專門派人至高麗視察攻宋最為便捷的海島，但可能由於蒙古對海上航行及作戰全無經驗，不得不取消計劃。
巧合的是，同在襄陽之戰期間，南宋也萌生過海上攻蒙的計劃。學者金履祥在野不敢忘憂國，獻策以重兵由海道直趨燕薊，「則襄樊之師，將不攻而自解」。這也並非紙上談兵，金履祥「且備敘海舶所經，凡州郡縣邑，下至巨洋別塢，難易遠近，歷歷可據以行」，但宋廷將此策束之高閣。
呂文德雖嚴重貽誤戰機，但還是基本履行了「春水至，吾往取之」的承諾，開春後，鹹淳五年（1269年）三月，他如期派出援軍。不過，呂文德並沒有親自率軍來援，而是任命日後大放異彩的張世傑為京湖都統，率馬步舟師馳援。
張世傑與蒙軍戰於赤灘圃（今襄陽東南漢江上）。此戰勝負未明，《宋史紀事本末》的口徑是「敗績」，而《宋史·度宗本紀》則有是年四月「賞張世傑戰功」的記載。宋軍戰術上或有小勝，但有一點是肯定的，張世傑並未衝破蒙軍防線，抵達襄樊城下。
初戰不利，呂文德決意放手一搏。七月，呂氏軍事集團核心成員、沿江制置副使夏貴率水軍五萬、戰船三千艘，乘秋雨水漲，送糧援襄。宋蒙水軍在漢水相持數日後，阿術突出奇兵，水陸夾攻大敗夏貴，宋軍戰死或溺死者達兩千餘人，戰船被俘五十餘艘。
這年早些時候，夏貴所部曾駕輕舟運糧至襄陽。因擔心蒙軍掩襲，夏貴未入城，僅在城下與呂文煥「交語而還」，更未與蒙軍交戰。
可能就是夏貴的慘敗，最終摧毀了呂文德的心理防線。
鹹淳五年（蒙古至元六年，1269年）十二月，在襄陽被圍的計無所出中，呂文德因毒瘡發於背部而卒。去世前還對輕許蒙古置榷場耿耿於懷，每每長嘆：「誤國家者，我也！」
平心而論，以蒙古騎兵的野戰優勢而言，如果真的意欲在襄陽城外強行築城，恐怕也不是宋軍輕易可以阻止的，呂文德這一失誤可能只是讓蒙古人的築城圖謀更順利、更快達成罷了。
呂文德發跡於抗蒙戰場，從軍臨邊四十年，百戰餘生，大節無讓，說是孟珙後南宋抗蒙的中流砥柱也不過譽。但黨同伐異、逼反劉整，放任蒙古人在襄陽城外建榷場、築堅壘，的確是他無法抹去的誤國之過。至於投效賈似道，貪墨自肥，此類私德有虧倒顯得無關宏旨了。