賈似道的父親是做過淮東制置使的儒帥賈涉，姐姐是集三千寵愛於一身的賈貴妃，他年輕時以紈絝浪蕩聞名臨安，是典型的衙內。
賈似道二十多歲時，宋理宗看在賈貴妃的面子上破例召見了他。廷對時，賈貴妃特意從後宮送上羹湯以給弟弟造勢站臺，宋理宗不忍拂愛妃之意，擢升了賈似道。當然，這可能更多是後世的渲染貶抑，未必全然真實。
賈似道甚至有機會成為皇后親弟。《宋史》說賈涉之女「有殊色」，宋理宗曾有意立她為皇后，但楊太后屬意於己有「援立」之功的前丞相謝深甫的孫女。宋理宗左右也私下議論：「不立真皇后，竟立假（賈）皇后嗎？」宋理宗無奈，只得遵從母意立謝家之女謝道清為皇后，但還是專寵賈涉之女，直至冊封其為貴妃。不過，謝皇后對此也安之若素，不以為意。
《宋史·賈似道傳》似乎特別偏愛塑造賈似道不學無術、醉生夢死的紈絝子弟形象，一開篇就是「少落魄，為遊博，不事操行」。在賈似道那則最有名的傳聞中，宋理宗夜裡登高望見西湖中燈火異常，便對左右侍從說：「此必似道也。」第二天問詢後果不其然，便將京兆尹史巖之派去勸誡內弟。但通常的歷史敘述就此打住，有意無意地遺漏了一個小細節：史巖之其實也誇了賈似道，「似道雖有少年氣習，然其材可大用也」。
賈似道入仕靠的是父親，即所謂的門蔭；前期升職靠的是姐姐，即所謂的裙帶。這些都沒錯，但他中年得以真正在政治上發跡崛起卻與父親和姐姐干係不深，彼時兩人已先後去世。
自淳祐五年（1245年）始，年僅三十二歲的賈似道被朝廷委以邊防重任，仕途由閫帥步入高峰，京湖制置使任上五年，兩淮制置使任上十年，南宋三大戰區他一人執掌過兩個。
可見，賈似道發跡之初是以軍事之才稱道於世，而不是什麼紈絝子或陰謀家，若非如此，朝廷又怎會連續將如此重要的戰區統帥之職託付予他？
最早識別出賈似道軍事才具的是孟珙。這位南宋末期最傑出的將領卒於淳祐六年（1246年）九月，臨終前鄭重向朝廷舉薦賈似道作為自己的接班人，接任京湖制置使。
人們可以質疑賈似道的所謂才華，但無須懷疑「軍神」孟珙的治軍經驗與識人之明。
除了賈似道，李庭芝、王堅、劉整這些宋軍名將均出自孟珙門下，孟珙就是那個時代的「黃埔軍校」。
賈似道果然也沒有辜負孟珙的推重，「在閫帥之位上成就斐然，政績和能力得到時人的肯定」。當三十多歲的賈似道從荊襄移鎮兩淮時，甚至得到了這首《水調歌頭·握虎符》的讚譽：
握虎符，持玉節，佩金魚。
三十正當方面，此事世間無。
寄語東淮父老，奪我詩書元帥，於汝抑安乎。
早早歸廊廟，天下盡歡娛。
不過，此時賈似道的軍事才華更多表現於治軍與調配軍事資源，荊襄屯田，兩淮築城，無不舉重若輕。尤其亮眼的是，賈似道在閫帥之位上展現了驚人的理財天賦，「賈似道築揚州寶祐城期間，自籌糧草經費，番更將士，民不知役，賞罰必信，半年告成。從荊閫調至淮閫，賈似道隨行銀數十萬兩，黃金數萬兩，皆其所蓄……築海州、通州、寶應等城，朝廷科降不足，便時常自己出資捐助」。
但「軍事天才」賈似道究竟有無臨陣指揮才具，這將於鄂州城下，由忽必烈親自下場檢驗。