常遇春成長時，乃是元朝末年，盜匪和起義軍四起。少年時的常遇春勇武過人，但是家裡窮，沒有飯吃。為了生活，他不得不投奔綠林大盜劉聚。劉聚看常遇春勇猛過人，無人能敵，十分歡喜，將他當作心腹。常遇春也十分忠心，跟著劉聚四處攔路搶掠，入宅為盜，然後回到山寨中大碗喝酒，大口食肉，還能分些銀兩。
但是沒過多久，常遇春厭倦了這樣的生活，他發現劉聚只是一個強盜而已，此人只知打家劫舍、四處搶掠，並沒有什麼志向，於是暗中萌發了另尋出路的念想。
有一次，常遇春跟隨劉聚去和州搶掠，正巧碰見朱元璋也率軍攻和州。常遇春早就聽人說過朱元璋這人仗義豪俠，志向高遠，是個有作為的英雄，想要主動投靠，卻又覺不妥，心想：也不知道這傳說是否真實，萬一傳說有假，豈不糟糕？
想到此處，常遇春猶豫了，決定要好好考察考察朱元璋的行徑，再做抉擇。
第二天，他裝成一個普通的老百姓入城，親耳聽到城中百姓對朱元璋讚不絕口，也親眼見到了朱元璋的部隊紀律嚴明，不禍害百姓，與一般的起義軍完全不同，而且還親眼目睹了朱元璋的平易近人，與士卒同甘共苦的作風。
經過再三的仔細觀察，常遇春發現朱元璋真是個明主，這才率領十幾個壯漢主動投靠。
如果按照電視劇的情節來說，朱元璋這時候應該是一個箭步上前，一一扶起眾人，雙手放在常遇春的肩膀上，深情地望著他，說道：「常兄弟，說得好，以後我們大家就是兄弟，走，我們一起喝酒去。」
說完，眾人一番大笑，回去後開懷暢飲，一醉方休。但歷史上朱元璋的態度卻恰恰相反。
當時朱元璋只是冷冷地看了一下常遇春，問道：「你是不是沒飯吃，捱了餓，想到我的隊伍中混飯吃啊？」
常遇春見朱元璋態度冷淡，卻不在意，朗聲回答道：「我們在劉聚手下打家劫舍，並不愁吃穿。我們只是覺得劉聚這人胸無大志，只知搶掠和盜竊，跟著他成不了大事。我聽說將軍是位賢明智者，因此今日我們這才前來投奔，甘願追隨將軍，誓死方休。」
朱元璋聞言後，還不為所動，又問道：「你能跟我過江打仗嗎？」
常遇春堅定地回答道：「將軍指到哪裡，我願打到哪裡，渡江之日，願為先鋒。」
朱元璋見常遇春這人身材魁梧，體魄健壯，言語十分忠懇，知道他定是一員良將，心中大喜，便把他留了下來。從此以後，常遇春也信守諾言，追隨朱元璋南征北戰，為大明王朝立下了不朽的功勳，被封為了開平王，諡號忠武，配享太廟。這些都是後話了。