攻佔襄陽後，元朝內部的主流意見是：即刻浮漢入江，直趨臨安滅宋。
作為「先攻襄陽」的首倡者，劉整就主張一鼓作氣：
襄陽破，則臨安搖矣。若將所練水軍，乘勝長驅，長江必皆非宋所有。
但也有一種聲音認為，大元國力在六年襄陽鏖戰中的損耗不可估量，且北邊未靖，應暫緩滅宋，休養生息。這派人數雖然不多，但有許衡等重臣在內。
還不單是海都之亂，此時忽必烈也在積極備戰征伐日本中，為此還專門成立了徵東都元帥府。至元十一年（1274年）十月初三清晨，元朝東征軍自高麗南部的合浦港出師，總兵力達32300人，大小艦船九百艘，據說其中還有呂文煥的襄陽降軍。《元史·王磬傳》記載，大臣王磬當時還建言忽必烈：「今方伐宋，當用吾全力，庶可一舉取之。若復分力東夷，恐曠日持久，功卒難成。俟宋滅，徐圖之未晚也。」
滅宋茲事體大，忽必烈沒有倉促決斷。《元史·世祖本紀》記載，直到破襄陽的第二年年初，即至元十一年（南宋鹹淳十年，1274年）正月，阿里海牙上書：「荊襄自古用武之地，漢水上流已為我有，順流長驅，宋必可平。」阿術又添了一把火：「臣略地江淮，備見宋兵弱於往昔，今不取之，時不能再。」
針對兩位前敵大帥的速攻論，據說當時元廷爭執不下，久不能決，可能正是阿術的一句話幫忽必烈下了最後決心：
今聖主臨御，釋亂朝不取，臣恐後日又難於今日。
滅宋之議既定，接下來就是擇帥的問題了。
忽必烈問計於史天澤和姚樞，得到了兩位人選：安童和伯顏。
伯顏長於西域，至元初年奉旭烈兀大王之命入朝奏事，忽必烈「見其貌偉，聽其言厲」，將他留在蒙古為官，三十歲時便升其為丞相。據《元史·伯顏傳》，朝中有大小難決之事，伯顏「徐以一二語決之」，被諸臣贊為「真宰輔也」。忽必烈將安童的妹妹嫁於伯顏，還放話，「做伯顏的妻子，不會辱沒你的姓氏」。
與早早成名的伯顏相比，安童更是匪夷所思地年輕。安童的家世遠比伯顏顯赫，父親是忽必烈倚重有加的木華黎之孫霸突魯，母親是察必皇后之姊。至元二年（1265年），年僅十八歲的安童拜相，徵宋時也不過二十六歲。
據《元史·安童傳》，安童拜相時，也曾以自己過於年輕推辭：「南宋尚據江南，如以臣為宰相，恐貽笑各方，使宋人輕視我們。」忽必烈堅持說：「我已考慮得很清楚了，沒人比你更適合，不要推辭了。」
忽必烈最終挑中伯顏，可能與伯顏有徵宋經驗相關，但應與安童年少無關。很快安童就被派往漠北，主持與海都的戰事。忽必烈的遣帥思路很清晰：安童在北，伯顏在南。
忽必烈為伯顏配備的副帥組合也極為精悍——阿術、阿里海牙，兩人在襄陽一役中舉足輕重，一為徵襄主帥，一總領漢軍。
團隊組建完成後，再加上輔助伯顏總領全軍的史天澤，忽必烈將四人悉數納入中樞，可見此時滅宋已是元朝政治的絕對重心：伯顏與史天澤並立為左丞相，阿術為平章政事，阿里海牙為右丞相。
最後一個問題是徵兵。儘管元朝自稱「方將百萬之眾南伐」，但顯然這就是個用來恫嚇南宋的虛數。
阿術與阿里海牙被任命為徵宋副帥後，建言「舊軍不足，非益兵十萬不可」，忽必烈下詔中書省籤軍十萬人。考慮到蒙古徵襄的總兵力在十萬人左右，伯顏所率南征軍隊達到了二十萬人，「如果把川蜀和淮西的元軍計算進去，估計總數會在三十萬以上」。
在水軍方面，從至元十年（1273年）三月到至元十一年（1274年）六月伐宋前夕，元軍至少五次造船或招募編練水軍，僅在至元十年（1273年）三月，劉整就建議訓練水軍五六萬，造戰船兩千艘，忽必烈從之。