一切都在走向花好月圓。張廷玉的仕途人生似乎功德圓滿，起碼不遜於其父張英，看起來可得一個善終。但是乾隆十一年，一絲異動悄然呈現。這一年張廷玉七十四歲，皇帝以他年逾古稀為由，口氣婉轉地告訴他不必每日早朝，特別是遇到天熱或颳風下雨的情況，可以不必入內，在家辦公就可以了。一般情況下，這應視作是皇帝對老臣的厚愛，但張廷玉發現，事情不是那麼簡單。因為他的內閣首輔位置被保和殿大學士兼吏部尚書、軍機大臣訥親取代了。訥親是滿洲鑲黃旗人，鈕祜祿·額亦都之曾孫。鈕祜祿·額亦都可是赫赫有名的人物。他是後金開國五大臣之首（其餘四人分別為何和禮、費英東、安費揚古和扈爾漢）、康熙朝重臣遏必隆的父親，清太祖努爾哈赤和額亦都是好友。睿親王多爾袞曾是其部下。訥親擁有如此顯赫的身世，仕途前景一片看好。雍正時他襲公爵，授散秩大臣。乾隆即位，授他鑲白旗滿洲都統、領侍衛內大臣、協辦總理事務、進封一等公爵。此番任他為內閣首輔，明擺著是加以重用的訊號。因為緊接著，訥親又成為首席軍機大臣。一個年輕幹部如此火箭式的提拔速度，張廷玉仕途浮沉幾十年，當然是心知肚明。他馬上上疏，請求辭去他兼管的吏部事務的職務。也就是說，組織部部長的位置他也讓出來好了，真可謂急流勇退。但耐人尋味的是，皇帝並沒有批准張廷玉的請辭報告。
這個時候，都察院左都御史劉統勳上奏，稱安徽桐城張氏家族在朝為官者有十九人之多，張氏的姻親桐城姚氏也有子弟十人在朝為官。張廷玉作為康雍乾三朝老臣，特別是雍正皇帝遺詔身後配享太廟的顧命大臣，「遭逢極盛，然而晚節當慎」。因此，劉統勳建議皇帝在三年之內將張氏親屬子弟「概停升轉」，以「保全」三朝老臣的清譽。
劉統勳是山東諸城人，雍正二年(西元1724年)中進士，選為庶吉士，步入仕途。由編修入直南書房，後任上書房師傅，官至詹事府詹事。乾隆繼位後，升其為內閣學士、刑部左侍郎、左都御史，此次他參奏大學士張廷玉，頗得皇帝內心首肯。乾隆隨即釋出「上諭」：「若張廷玉在皇考時，僅以繕寫諭旨為職，此嫻於文墨者所優為。自朕御極十五年來，伊則不過旅進旅退，毫無建白，毫無贊勷。朕之姑容，不過因其歷任有年，如鼎彝古器，陳設座右而已」。（《高宗實錄》卷363）「上諭」如此這般的用語與定性，無疑是對張廷玉政治生涯的全盤否定。
這一年，對張廷玉來說，還發生了一件很不幸的事情。他的長子、內閣學士張若靄生病去世了，白髮人送黑髮人，張廷玉開始變得步履蹣跚。皇帝似乎動了惻隱之心，以張廷玉入內廷須他人扶掖為由，命他的次子、庶吉士張若澄入直南書房。兩年之後的乾隆十三年，七十六歲的張廷玉以老病為由，第一次向皇帝提出告老還鄉。乾隆卻是不同意。他對張廷玉說：「卿受兩朝厚恩，且奉皇考遺命配享太廟，豈有從祀元臣歸田終老？」（見《清史稿》，下同）這是要張廷玉鞠躬盡瘁死而後已的意思，應該說「配享太廟」的崇高政治榮譽將張廷玉給綁架在祭壇上，再無告老還鄉的可能。乾隆的話說得這樣重，理由這樣明晰，張廷玉作為明白人，正確的做法應該是唯唯諾諾，不再「據理力爭」——事實上他也沒什麼理在手中。但是張廷玉揣摩，皇帝有新陳代謝的需要。既然培植了新人訥親上位，對他這個仕途老人，大概不再依賴了吧。
所以接下來，他「據理力爭」了。張廷玉在皇帝面前直言：「宋明配享諸臣亦有乞休得請者。且七十懸車，古今通義。」意思是宋明兩朝也有享受配享榮譽的大臣，最後是可以告老還鄉的；而且七十歲退休，那是天經地義的。這話其實很不符合皇帝對張廷玉的要求，他苦心經營多年的形象就此一落千丈。乾隆看張廷玉的眼神都變冷了，開始對他循循善誘，稱假如七十歲退休是天經地義的話，那為什麼「尚有八十杖朝之典？武侯鞠躬盡瘁，又何為耶？」這是拿諸葛亮的例子要求張廷玉生命不息，工作不止。
皇帝放下架子跟張玩君臣辯論賽，又有成例在手，一般情況下，張廷玉除了棄子認輸，收回退休之念外，不可能再有上佳選擇。但回鄉心切的他並沒有就此打住，反而以老邁之軀將辯論賽進行到底。他繼續振振有詞地說：「亮受任軍旅，臣幸得優遊太平，未可同日而語。」意思是諸葛亮是諸葛亮，我是我。他有不能退的理由，我有到點退休的理由。特別是最後一句「未可同日而語」，很駁皇帝臉面，意思是你引諸葛亮的例子來說服我並不恰當。
毫無疑問，接下來的辯論愈發有火藥味了。因為乾隆聲色俱厲地質問他：「朕為卿思之，不獨受皇祖、皇考優渥之恩，不可言去；即以朕十餘年眷待，亦不當言去。朕且不忍令卿去，卿顧能辭朕去耶……為人臣者，設預存此心，必將漠視一切，泛泛如秦、越，年至則奉身以退，誰復出力為國家治事？」乾隆還以皋夔、稷契、龍逢、比干四人不同的遭遇來說明，一個官員不管處境如何，忠誠之心是相同的，這是暗指張廷玉對朝廷並無忠誠之心。話說到這個份上，張廷玉也無法再辯，只是「嗚咽不能自勝」。告老還鄉之念，只得暫時擱置。
皇帝卻是盛怒未消。為了處罰張廷玉的不忠之舉，他接下來做了兩件事：一是「命舉所諭宣告朝列」，將君臣間的這一番爭論公佈於朝野，讓大家都來看看張廷玉的真面目；二是趁勢解除了張廷玉「組織部部長」的職位，但並不允許他退休，還得經常入內廷點卯上班。如此處境之下，張廷玉的日子越發難過了。畢竟快八十歲的人了，精力大不如從前，不管事卻還要上班，內心的空虛感真是難以言說。其實早在乾隆三年，張廷玉就曾對皇帝說：「今犬馬之齒六十有七，自覺精神思慮迥不如前，事多遺忘，食眠漸少。」現在差不多十年時間過去了，張廷玉的身體更是每況愈下，體力不支，但事情又要做，出差錯的情況也就在所難免了。