四阿哥胤禛出生於康熙十七年（1678年），在《聖祖仁皇帝實錄》的記載中，其行文頗為平淡無奇：「丁酉，今上皇帝生，上之第十一子也，母曰烏雅氏。」也就是說，在胤禛呱呱墜地時，二十四歲的康熙已經生過十個兒子了，胤禛生下來似乎也沒有什麼祥瑞異兆，康熙也沒有給予這個新生兒特別的重視（直到後來才補記，說有「夢月入懷，華彩四照」的祥瑞之兆）。胤禛出生前，在他前面的十個阿哥只活下來三個，因此他就成了四阿哥，在敘齒的二十四個阿哥里面，算是年長的阿哥（年齡優勢）。
康熙給兒子們起的名字，開始時比較混亂，如「承」字開頭的「承祜、承瑞、承慶」，也有以「長」字開頭的如「長華、長生」；還有蒙古文的名字，如「賽音察渾」。直到後來，康熙才將皇子們的名字統一：每個皇子的前一個字為「胤」，後一個字則取「示」的偏旁，以表示「富貴有福」的含義。胤禛的「禛」字，在《說文解字》裡，就是「以真受福」的意思。
胤禛的生母烏雅氏是滿洲正黃旗人，父親威武是護軍參領，屬正三品的官員。和那些出身於王公貴族家庭的妃子比，烏雅氏的母家實在算不了什麼。烏雅氏也是很早就進宮，開始為常在，後為德貴人，一直到康熙十七年才生育，這就是她的頭胎兒子四阿哥胤禛。生胤禛時，烏雅氏還沒有進入主位，一直到生下胤禛的第二年，她因生子有功，才被封為德嬪。
由於烏雅氏在宮中的地位不高，所以胤禛剛滿月便被貴妃佟佳氏（後被封為皇后）抱去撫養。這對烏雅氏來說，既喜又悲：喜的是自己的兒子能夠得到當時宮裡地位最高的貴妃（當時康熙的前兩個皇后都已去世）親自撫養，以後皇上或許會對這個皇子另眼相看，前途可觀；悲的是自己沒有封號，地位太低，連自己的孩子都不能親自撫養！
再說貴妃佟佳氏，她其實就是國舅佟國維之女。佟佳氏的家族是一個顯赫的官宦家庭，曾祖父佟養真和曾叔祖父佟養性都任過重要的軍職，為愛新覺羅家族打下江山立下過汗馬功勞，佟養真後來駐守鎮江時殉職；祖父佟圖賴先後任過參將、都統等職；伯父佟國綱歷任內大臣等，封一等公，後來在征討噶爾丹時，於烏蘭布通之役中英勇陣亡；父親佟國維做過一等侍衛、內大臣、議政大臣等，封一等公。
撇開功勞不說，佟佳氏的家族還是傳統的皇親國戚。她的曾叔祖父佟養性娶了清太祖努爾哈赤家族之女，並被納為「額駙」（駙馬爺）；而康熙的生母孝康皇后是佟圖賴的女兒，也就是佟佳氏的姑姑。佟佳氏作為康熙的表妹，進宮之後當然備受恩寵，地位非同一般。
佟佳氏當時剛被封為貴妃沒多久，還沒有生育過，卻把剛滿月的胤禛抱來撫養，這應該是件難度挺大的事情。不過，佟佳氏對這個新生兒十分有興趣，即使她在後來封為皇貴妃統攝後宮大小事務時，也是一直把胤禛留在身邊。不僅如此，康熙二十二年（1683年），佟佳氏在自己懷孕並生育時，也沒有放棄對胤禛（五歲左右）的撫養。也許，佟佳氏天生就喜歡小孩，小時候的胤禛應該給她帶來了無限的樂趣。
後來，佟佳氏自己生了皇八女，但不幸的是，這個可憐的孩子甚至連自己的父親都沒有見過（康熙出巡去了），一個月不到就夭折了。女兒的夭亡讓佟佳氏非常的悲痛，她便將自己所有的母愛都傾注於胤禛的身上，視同己出，關愛備至，不亞於親生兒子。而且，由於佟佳氏後來再沒有養育過，胤禛也由此成為她最關心疼愛的人。
這樣的日子又持續了六年，康熙二十八年（1689年），佟佳氏一病不起，在被緊急加封為皇后的第三天，便離開了人世。由於前兩個皇后赫舍里氏和鈕鈷祿氏都死得早，康熙一直自責自己「克妻」，所以一直沒給佟佳氏封皇后，一直到佟佳氏快不行時，才封佟佳氏為皇后。後來，康熙便再沒有封過皇后（「相剋」的觀念似乎一直存於康熙腦海裡，他在廢太子時也罵過胤礽「克母」，因為赫舍里氏就是在生胤礽時難產而死）。
佟佳氏死時，胤禛當時只有十二歲，這對他來說實在是一個沉重的打擊。康熙後來曾經說胤禛一度非常的憂鬱（也許是現在說的憂鬱症），這使得他不得不放下政事，去專心照看胤禛。康熙沒有說具體是什麼時候，但很有可能就是佟佳氏死後的這一段時期。後來胤禛愛好佛學，是不是和這段歷史有關，目前不得而知。
總的來說，胤禛的成長還是比較正常的。在康熙和師傅們的嚴格管教下，胤禛開始學習滿漢文化，還有騎射等體育課程，德智體美，全面發展。當時在上書房的師傅們水平都很高，他們大都是康熙的政治顧問，並在朝廷中擔任重要職務，同時又是著名的理學家。當時胤禛跟著大學士張英學習四書五經，跟著徐元夢學習滿文等。
這些師傅裡面，對胤禛影響最大的是禮部尚書、侍講學士顧八代。顧八代不但學術水平高，善於教學，而且為人正直，為官清廉，胤禛後來評價他「品行端方，學術醇正」。顧八代退休後，一直過著極為清貧的生活，以至於他死後家裡連辦喪事的錢都沒有。胤禛聽到這個訊息後，心頭一酸，便以學生的身份親自為師傅料理後事，自己出錢把師傅安葬了。由此可以看出，顧八代的教育和人格品德，給胤禛留下了深刻的印象。
少年時期的胤禛，書應該讀得不錯，從他作的詩來看，雖然談不上千古佳句，但至少也對仗工整，頗有意境，比他的兒子乾隆強出許多。胤禛的書法，在皇子裡面也是數一數二的，他非常善於模仿康熙的筆法（康熙本人的書法也非常優秀）。有一次，胤禛等人隨同康熙南巡，因為胤礽生病，一行人暫停在德州。胤禛和十三阿哥則像平時一樣，找了個書房讀書寫字。正好某天康熙和隨行大臣們談論書法，談到高興處，康熙便把大臣們引至胤禛等皇子們學習的地方，讓自己的兒子們寫幾個對聯給大臣們看，據說大臣們觀看後，「無不歡躍欽服」。
康熙喜歡打獵，幾乎每年都要到塞外去圍獵，而且每次都要帶上幾個皇子。康熙二十五年（1686年）時，剛滿九歲的胤禛便跟著自己的父親和三個哥哥胤禔、胤礽和胤祉出了塞北，一路上風裡來，雨裡去的，一個半月後才回到京師。康熙的目的，就是要讓皇子們在野外生活中強健其體魄，並培養他們的吃苦精神。
此後，胤禛便經常跟著康熙去圍獵或者到各地巡遊，有時候還受康熙的委託，作為皇帝的代表參加一些禮儀性的活動。康熙二十七年（1688年），孝莊太后一週年忌日，康熙帶著胤禛等皇子們去致祭；康熙三十五年（1696年）和四十五年（1706年），由胤禛獨自奉命前往致祭；康熙二十九年（1690年），佟佳氏的伯父佟國綱戰死烏蘭布通後，康熙特命十三歲的胤禛和大阿哥胤禔去迎接佟國綱的靈柩回京師；康熙三十二年（1693年）時，山東曲阜的孔廟完成了一次大修，工程結束時，康熙特派十六歲的胤禛隨同自己的三哥胤祉前去致祭；康熙三十三年（1694年），胤禛隨康熙沿著北運河到天津，西行到霸州，考察永定河下游的情況；康熙三十五年（1696年），十九歲的胤禛隨同康熙征討噶爾丹，當時奉命掌管正紅旗大營。雖然這些阿哥並不親自指揮作戰，但也是一次難得的、真刀真槍的軍事行動，這對他們的成長很有幫助。
在擊敗噶爾丹後，康熙帶著兒子們去龍興之地盛京祭拜祖陵，當時幾乎所有的皇子都參加了這次回鄉之旅。胤禛在《侍從興京謁陵二首》中有這麼兩句：「不睹艱難跡，安知啟佑心？」估計在一路上，康熙好好給這些皇子們上了一課，告訴他們自己祖先當年是如何艱難創業的。
康熙四十二年（1703年），胤禛隨康熙南巡，一行人先到濟南，再到泰安登泰山；隨後又渡過黃河，經淮安、揚州，在瓜洲渡長江後到鎮江。到鎮江後，康熙帶著一行人參觀了江天寺，還親自為寺裡題了一塊匾，上有「動靜萬古」四個大字。胤禛在此留下一首詩：
暮宿金山寺，今方識化城；