當劉整孜孜於攻略襄陽及大建水軍時，南宋京湖（荊襄）戰區正掌控於呂文德及其家族手中。
呂文德從軍前的經歷很是傳奇。據《宋季三朝紀要》，呂文德早年本是樵夫，以魁梧勇悍聞名。一次進城賣柴時，呂文德不慎將鞋遺落在路邊，被邊帥趙葵發現。趙葵驚歎於鞋的尺碼之大，便派人去尋訪鞋主。時值呂文德打獵攜一虎一鹿歸來，面見趙葵後，便被留在軍中效力。
儘管還有一種說法是呂文德本是淮南土豪，投於趙葵軍中，但無論哪種說法，呂文德本是平民，從軍起於趙葵帳下是無疑的。從軍後，呂文德很可能追隨趙葵參與了端平入洛，該軍事行動雖慘敗，但他就此以一刀一槍，崛起於宋蒙戰場。
可以說，在投效賈似道之前，呂文德已是一方名將。特別是在開慶元年（1259年）的抵禦蒙哥南征之役中，呂文德先授命援蜀，繼而援鄂，大有繼「軍神」孟珙後宋軍第一精銳之氣象。鄂州解圍後，據《宋史全文》記載，宋廷下詔：「呂文德援蜀之賞未足酬功，今援鄂之勳猶為顯著，特賜百萬，良田萬頃。」
戰後，宋廷論功行賞，呂文德以援蜀、援鄂兩次軍功被列為軍中第一。《宋史·賈似道傳》認為，這是出於賈似道的偏袒。但也有論者認為，在開慶元年（1259年）以前，賈似道還未成為權相——在援蜀之戰時，他甚至還未拜相，其權力還達不到可以隨意賞罰大將的程度，「（呂）文德功勞排在第一，完全是應當的」。
公允地說，呂文德此役之軍功，至少可以排第二，僅次於重挫蒙哥親軍、間接導致蒙哥病亡的釣魚城守將王堅。
自景定元年（1260年）至鹹淳五年（1269年）十二月病故前，共十年間，呂文德一直任京湖制置使，率軍駐防荊襄一線。
也就是在這十年間，南宋形成了一個以呂文德為首的龐大軍事集團，如呂文德的兄弟輩呂文煥、呂文信、呂文福，子侄輩的呂師孟、呂師夔，女婿范文虎，舊部夏貴等人，皆為南宋軍政要員，被後世稱為「呂氏軍事集團」。南宋大學者黃震在《古今紀要逸編》一書中寫道：「沿邊數千裡，皆歸其控制，所在將佐列戍，皆俾其親戚私人。」《宋史·兵志》對呂氏軍事集團的批評則更為露骨：「至鹹淳中，大將若呂文德、夏貴、孫虎臣、范文虎輩，矜功怙寵，慢上殘下，行伍功賞，視為己物，私其族姻故舊，俾戰士身膏於草莽，而奸人坐竊其勳爵矣。」
在重文抑武的南宋，呂氏軍事集團為何能積厚成勢，直至成為兩宋歷史上最大的軍事集團？
最主要的原因還是賈似道的庇護。鄂州之戰後，呂文德漸而成為賈似道親信，甚至可被視作賈似道在軍中的代理人。呂氏軍事集團的屹立不倒有賴於兩個彼此纏繞的條件：賈似道贏得了從宋理宗到宋度宗的無條件倚重，而呂文德又獲得了賈似道全心全意的信任。
呂文德及呂氏軍事集團的善戰則是另一個原因。賈似道之所以重用呂文德，固然是因為呂氏的忠誠，但也在於其有能力成為自己執政的軍事支柱。
在某種程度上，呂氏軍事集團實為賈氏軍事集團。
呂文德是當時南宋最卓越的軍事統帥之一，名重當時，被劉克莊評價為「自奮於兵間，周旋三邊，大小百戰」，劉整降蒙後也曾謂「南人唯恃一黑灰團」，「黑灰團」即呂文德綽號；而呂氏軍事集團的呂文信、夏貴等人也都稱得上名將。
尤其是呂文德之弟（另一說為堂弟）呂文煥，追隨呂文德多年，襄陽保衛戰時已為襄陽最高軍事長官（知襄陽府兼京西安撫副使），深得宋理宗器重，「傳授六韜而起家，間關萬里而赴授。朕拊髀思名將，一掃兵氛；爾束髮戰匈奴，屢騰凱奏」。
呂文煥無疑是呂氏軍事集團的二號人物。
呂文德守襄十年，修築數座城池，加固京湖防線，並於景定三年（蒙古中統三年，1262年）自劉整手中收復了瀘州，也可謂兢兢業業了。
在私德上，呂文德因為貪墨備受攻訐，時人形容呂家「寶貨充棟，宇產遍江淮，富亦極矣」，甚至有人說，與呂文德家族的財產相比，「石崇又何足數也？」宋人筆記還指控呂文德貪汙軍餉，朝廷定額京湖戰區三十萬兵力，呂文德竟裁至七萬人，以便於吃空餉。
雖有不少渲染之處，但呂文德貪墨當無爭議。不過這在南宋邊帥中也算是普遍現象，否則賈似道也不會強行推動打演算法反貪。
除貪墨以外，呂文德在守襄期間還犯下了一個貽害無窮的決策性失誤：允許蒙古人在襄陽城外修建通商互市的榷場。
蒙古中統四年（南宋景定四年，1263年）七月，劉整向忽必烈獻計：利誘呂文德，換取襄陽城外接榷場，以掩護軍事蠶食。據《宋季三朝政要》，蒙古人最初向呂文德獻上一條玉帶，得到了置榷場的允准；蒙古使者得寸進尺，藉口「南人無信，安豐等處榷場，每為盜所掠」，進而要求築土牆以護貨物，呂文德起初拒絕了，但有人向他建議，「榷場成，我之利也，且可因以通和好」，文德「遂許焉」，蒙軍因此「築土牆於鹿門山，外通互市，內築堡」，建立了進圖襄樊的第一個據點：鹿門堡。
「由是敵有所守，以遏南北之援，時出兵哨掠襄、樊城外，兵威益熾。」身在襄陽前線的呂文煥發現事情不對，數次寫信警示身在鄂州的哥哥，呂文德一開始不以為然，還有種說法是信件被呂文德身邊的親信扣下，總之等呂文德知道時，鹿門堡已初具規模。
失誤歸失誤，但說呂文德為了一條玉帶就允許蒙古建榷場，可能是言過其實了，呂文德富可敵國，又怎會為了區區一條玉帶，就置襄陽與南宋安危於不顧？此種道德化視角，似乎將所有的政治軍事失敗都歸因於忠奸敘事，反倒掩蓋了南宋在做出真實政治決策時的短視、自大與資訊不對稱，也將蒙古的深圖遠慮、步步為營簡單化為賄賂一途。
從一開始，蒙古人在襄陽的作戰計劃就是築壘戰。