第一次廢太子時，胤礽被交由大阿哥胤禔和胤禛等人看管，當胤礽要求胤禔代奏自己「絕無弒逆之心」時，胤禛的表現還算公正。他不顧胤禔的反對，毅然決定給胤礽上奏此事。也許，胤禛認為打擊太子對他沒有什麼好處，因為即使胤礽被打垮，儲位也輪不到自己，前面至少還有胤禔和胤禩幾個人，因此，他也沒有必要去落井下石。當然，胤禛當時也許是真的出於善良、公正和兄弟之情，看不慣大阿哥胤禔欲置胤礽於死地的兇惡做法。
由於暫時奪取儲位無望，胤禛便在這類政治鬥爭中保持不偏不倚的態度，或者根本就不參與。為表明自己的態度，胤禛在這期間經常和僧人來往，他當時住的雍王府鄰近柏林寺，他還經常跑到寺廟裡去和那些和尚們參禪論道，談論佛法，一幅與世無爭的樣子。
不僅如此，胤禛還出資建造大覺寺，並自號圓明居士（居士即指在家修行的俗家弟子）。據他本人的說法，自己鑽研佛學，在機鋒對答之中，已有頗深的造詣，還曾經參與過佛門的爭論，不過，後來做上皇帝了。胤禛即位後的十年之內，未曾談論佛事——雍正十一年時，雍正曾說：「朕即位後十年來，辦理政事，於釋典一函一軸實未曾批閱。」也不知道是他已經修成了「正果」呢，還是他太實用主義了？
「山翁避暑在山中，竹簌松濤面面風。三樂啟期何所事，朝陽睡到夕陽紅。」既然不想太早的捲入是非當中，又需要找點事情做，胤禛的選擇是先做個「富貴閒人」，樂得逍遙。他曾經寫過這樣的詩：
道許山僧訪，暮將野叟招；
漆園非所慕，適志即逍遙。
山居且喜遠紛華，俯仰乾坤野興賒；
千載勳名身外影，百歲榮辱鏡中花。
從胤禛早期的詩歌裡面，似乎他當時最愛的生活是「訪山僧，招野叟」。功名利祿對他來說，不過是「身外影，鏡中花」，與自己毫無關係。當時的胤禛，似乎有意要把自己描繪成「天下第一閒人」，他以王爺的尊貴之身，屈尊紆貴地跑去和山僧野叟閒談，和三教九流打交道，怪不得野史裡把他說成一個會武術的奇人異士。
太子二度廢立期間，爭奪儲位的鬥爭已經是緊鑼密鼓、明槍暗箭，各皇子各顯神通、結黨謀位，幾乎無法控制。當時的胤禛，想必也感到焦躁和不安，但他最後卻做出一個令人意外的決定，那就是暫時拋開一切，禮佛參禪，避開那些日益緊張的儲位鬥爭，免得惹禍上身。
有人會認為，當時的胤禛已經開始暴露他為人的兩面性。他也許是厭倦那種你爭我奪、兄弟傾軋的宮廷政治，而想尋覓一種與世無爭、清心寡慾的淡泊生活，但從他後面的表現來看，胤禛只是為了隱藏自己，免得過早地暴露自己。更大的可能是，胤禛從大阿哥胤禔的悲劇中清醒地意識到，現在還遠不是出手的好時機，何況，怎麼說也沒有輪到自己！與其過早的出場被殺，倒不如暫時隱忍不發。
空閒之餘，胤禛還自己編輯了一本集子叫《悅心集》，把他所欣賞的一些詩賦文章收錄其中，以表示他的志趣和心情。其中有兩篇詩文頗有意思，一篇是明代才子唐伯虎的《一世歌》：
人生七十古來稀，前除幼年後除老。
中間光景不多時，又有炎霜和煩惱。
過了中秋月不明，過了清明花不好。
花前月下且高歌，急須滿把金樽倒。
世人錢多賺不盡，朝裡官多做不了。
官大錢多心轉憂，落得自家頭白早。
春夏秋冬彈指間，鍾送黃昏雞報曉。
請君細點眼前人，一年一度埋荒草。
草裡高低多少墳，一年一半無人掃。
這首《一世歌》，和《紅樓夢》中的《好了歌》在意趣上倒是有幾分相似之處：