乾隆十三年（西元1748年）對乾隆皇帝來說是個怒氣沖天的年頭。這一年，乾隆東巡，皇后富察氏隨行。但很不幸的是在迴鑾至德州時落水而亡。為表達哀思，皇帝將喪葬典禮辦得極為隆重。在皇后喪葬期間，乾隆憤怒地發現，湖廣總督塞愣額、知府金文醇、江南總河周學健、湖廣巡撫彭樹葵擅自剃頭了——按滿族舊習，帝后之喪，官員們在一百天內不能剃髮，以示傷心過度，無法顧及自己的儀表，否則就是大不敬。皇帝盛怒之下，將此四人或處斬，或革職。
這一年被處斬的人還包括浙江巡撫常安，他因為貪汙公款被判處絞監候，秋後處決。當然腐敗年年有，皇帝對常安這事還不是很上心的，最令他惱怒的是自己培養的接班人、赴川督師的經略大臣訥親和川陝總督張廣泗在金川用兵中，因為指揮無方，前後貽誤，導致兵敗大潰退的局面。乾隆認為此二人大丟朝廷臉面，於九月，將他倆革職，於十二月，處斬。
一片秋風肅殺中，垂垂老矣的張廷玉不敢稍作異動，以免惹禍上身。但人算不如天算。該來的還是來了。同年九月，皇家出版社——文穎館修成《御製詩集》，進呈御覽。乾隆在翻閱時發現其中有錯別字，不禁勃然大怒，下令將大學士、文穎館總裁官張廷玉等三人「交部議處」。雖然處分不是很重，但張廷玉已感到絲絲涼意。到年底，翰林院在為去世不久的孝賢皇后寫祭文時因為用語不夠「尊貴」，乾隆下令將管理翰林院的張廷玉等官員罰俸一年，以示警戒。這讓張廷玉覺得必須速速離開這個是非之地，否則，很有可能像訥親那樣命喪黃泉。
乾隆十四年正月，張廷玉再次上奏：「受上恩不敢言去，私意原得暫歸。後年，上南巡，當於江寧迎駕。」這其實是告老還鄉的意思，但張廷玉將話說得很委婉，皇帝見其風燭殘年，惻隱之心遂起，就批准他致仕，讓他在來年春天再回老家。但張廷玉此時卻犯下一個嚴重錯誤，怕回去之後配享太廟的政治待遇被取消，為身後計，竟然開口讓皇帝寫下一紙憑信，以為永不反悔的依據。乾隆勉強同意了。按說事情進行到此，似乎也還算順利。雖然不再有君臣相知，但也不至於君臣相猜，一拍兩散，是謂友好分手。要命的是第二天，一紙憑信在手的張廷玉沒有親自到宮門去謝恩，僅僅讓他的小兒子張若澄代為謝恩。皇帝由此大不滿，「降旨切責」，稱張廷玉急於求歸，是「恝然置君臣大義於不問」。「夫張廷玉之罪，固在於不親至謝恩，尤在於面請配享」，君臣之間最後一層溫情脈脈的面紗被扯下，張廷玉的真實面目在皇帝的聲色俱厲之下被層層揭發。他辯無可辯，也不敢辯，回奏稱：「臣福薄神迷，事皆錯謬，致幹嚴譴，請交部嚴加議處。」一個老臣的蒼涼處境，躍然紙上。
皇帝卻繼續戲弄他，稱：「太廟配享，皆佐命元勳，張廷玉有何功績勳猷而與之比肩乎……」意思是張廷玉其實不配享太廟，但緊接著乾隆話鋒一轉，稱「張廷玉忍於負朕，朕不忍負張廷玉。朕之許張廷玉予告，原系優老特恩，明諭甫降，朕不食言。其大學士由皇考時簡用，至今二十餘年，朕亦不忍加之削奪。配享，恭奉皇考遺詔，朕終不忍罷斥。至於伯爵，則朕所特加，今彼既不知朕，而朕仍令帶歸田裡，且將來或又貪得無厭，以致求予其子者皆所必有，朕亦何能曲從至是。著削去伯爵，以大學士原銜休致，身後仍準配享太廟。」乾隆話裡話外，藐視、鄙視的意思倍顯，頗有施捨給乞丐一樣東西——東西是給你了，但羞辱也如影隨形。可憐張廷玉作為三朝老臣，為了配享太廟一事，終究顏面丟盡。
但世上的事多一波三折。張廷玉在次年春天準備告老還鄉之時，他眼看到手的配享太廟的待遇又不翼而飛了。乾隆十五年三月，皇帝長子永璜去世了。作為永璜曾經的師傅，張廷玉雖然參加了喪禮，只是他歸心似箭，表情也不那麼哀傷。這一切皇帝都看在眼裡。乾隆礙於喪禮期間，隱而不發。但張廷玉在初祭過後，竟匆匆忙忙地上疏請辭，準備南歸，這讓皇帝勃然大怒。他下旨稱張廷玉毫無忠心，不夠配享資格。又將太廟裡配享諸臣的名錄扔給張廷玉，讓他從中一一對照，自我審查「應否配享。」
這實在是一大羞辱。張廷玉老淚縱橫，只得回奏稱：「臣老耄神昏，不自度量，於太廟配享大典，妄行陳奏……念臣既無開疆汗馬之力，又無經國贊襄之益，縱身後忝邀俎豆，死而有知，益當增愧。況臣年衰識瞀，衍咎日滋世宗憲皇帝在天之靈，鑑臣如此負恩，必加嚴譴，豈容更侍廟廷？敢懇明示廷臣，罷臣配享，並治臣罪，庶大典不致濫邀，臣亦得安愚分。」
皇帝因勢利導，讓大學士九卿開會議決此事，最後做出了罷免張廷玉配享資格的決定。配享資格得而復失的張廷玉，惆悵回鄉。
屋漏偏逢連夜雨。惆悵回鄉的張廷玉又遭遇到一件倒霉事。他的親家、四川學政朱荃被人參奏隱瞞母喪訊息，「匿喪趕考」，目的僅僅是為了掙點「考試補貼」，在當時看來此為大不孝之舉。此案本與張廷玉無關，但餘怒未消的乾隆皇帝還是將他牽連了進來，認為「張廷玉深負三朝眷注之恩……豈容其冒叨寵齎。所有歷來承受恩賜御筆、書籍，及尋常齎賞物件，俱著追繳。」他下令盡繳歷年頒賜給張廷玉的諸物。乾隆十五年八月，皇帝命欽差大臣德保查抄張廷玉在京住宅。抄家之後，雖然沒有被抓住什麼把柄，但張廷玉已然是驚弓之鳥了。他惶惶然上奏稱：「臣負罪滋深，天褫其魄，行事顛倒。自與朱荃結親以至今日，如在夢昧之中，並無知覺。今伏讀上諭，如夢方醒，恐懼驚惶，愧悔欲死，復有何言？乞將臣嚴加治罪。」
乾隆由此又貓戲老鼠一般，將張廷玉大大羞辱了一番，稱「張廷玉忍於負朕，自所應得，而朕心仍有所不忍，著從寬免其革職治罪，以示朕始終矜宥之意。」這一年，張廷玉已經是一個八十歲的老人了。名譽掃地，一無所有，成為那個時代權力場上的最大失敗者。
乾隆二十年，在被抄家五年後，惶惶不可終日的張廷玉去世了。遊戲玩夠了的皇帝下旨：張廷玉以大學士銜休致，仍令配享太廟。只是這一切哀榮，曾為之念茲在茲一輩子的張廷玉並不知曉。或許知曉了也沒什麼意義吧，因為仕途中人，一切都已淡然，得之失之，實在不是當事人自己可以掌控的。