此後，張廷玉的仕途果然一帆風順。在康熙時代，他先後擔任檢討、直南書房、洗馬、侍講學士、內閣學士、刑部侍郎、吏部侍郎等職。雍正元年時，張廷玉升禮部尚書，次年轉戶部尚書、翰林院掌院學士、國史館總裁、太子太保，並復直南書房。雍正三年，他署大學士事。雍正四年，晉文淵閣大學士、戶部尚書、翰林院掌院學士，併兼充《康熙實錄》總裁官。雍正六年，張廷玉轉保和殿大學士兼吏部尚書。雍正七年，加少保銜。
最為難得的是，張廷玉是有清一代漢大臣中配享太廟第一人，也是唯一的一位。那麼，什麼叫配享太廟呢？雍正皇帝遺詔——張廷玉死後其神位可以安放在太廟的前殿西廡，接受此後歷代皇帝每年一次的祭祀。這在大清王朝的歷史上，可謂空前絕後之舉。在這一點上，張廷玉可以說超過了他的父親張英。其實，張英也是深諳仕途箇中三昧的。張英為官低調，謹慎自謙。座右銘是「讀不盡架上古書，卻要時時努力；做不盡世間好事，必須刻刻存心。」《清史稿》稱「（張）英性和易，不務表襮，有所薦舉，終不使其人知。所居無赫赫名」。在民間廣為流傳的張英「六尺巷」故事，反映了張英的這個性格特點。據說有一次張英老家人與鄰人爭地，雙方僵持不下。老家親人寄信給他，希望憑藉權勢壓倒對方。張英回信稱：「千里捎書為一牆，讓他三尺又何妨？長城萬里今猶在，不見當年秦始皇！」張家人得信後，主動後退三尺，鄰居吳氏也大受感動，同時後退三尺，最後留下「六尺巷」的美談。康熙皇帝因此對張英很看好，稱：「張英始終敬慎，有古大臣風。」張英因病退休後，康熙還對他念茲在茲。康熙四十四年（西元1705年）和四十六年（西元1707年），康熙兩次南巡，都召張英迎駕，賜御書榜額，一路君臣相知至江寧。張英死後，諡文端，雍正時贈太傅。可謂極盡哀榮。
張廷玉的仕途作風酷似其父，甚至在某一方面來說，青出於藍而勝於藍。他信奉「萬言萬當，不如一默」的人生格言，凡事注重細節，少說多做。每次蒙皇上召對，從不洩露所談內容，也不留片稿於家中。帝國正縣級以上官員的履歷他無不知曉，甚至縣衙門裡胥吏的名字他也隨口道來。張廷玉業務純熟，慎始敬終，和父親一樣「有古大臣風」。雍正十一年(西元1733年)，他的長子張若靄高中一甲三名探花，張廷玉聞知後不是心花怒放，反而「驚懼失措」，立刻求見雍正，「免冠叩首」，認為自己兒子還年輕，登上一甲三名，是禍不是福，懇請將其改為二甲一名。其言辭懇切，讓皇帝頗為動容。
其實，張廷玉的低調還體現在不做大事，專做小事上。雖然雍正朝的每一項重要決策他都參與過，但張卻不攬功。雖然有人因此誤解他，稱「如張文和(張廷玉)之察弊，亦中人之才所易及。乃畫喏坐嘯，目擊狐鼠之橫行，而噤不一語。」但皇帝卻很喜歡這樣的性格。張廷玉有一次生病數日，病後回去上班，雍正皇帝很高興地告訴身邊近侍說：「朕股肱不快，數日始愈」。一些大臣以為是皇帝龍體欠安，爭相前來問安。雍正卻對他們說：「張廷玉有疾，豈非朕股肱耶？」由此可見張在皇帝心目中的地位。
雍正視張廷玉如股肱，要事密事就專門交待他去辦理。雍正事後對他人說：「彼時在朝臣中只此一人。」為了防止張廷玉因為經濟原因不小心犯錯誤，雍正專門對他實施高薪養廉。經常賞其萬兩白銀，甚至將一個本銀三萬五千兩的頗具規模的當鋪賞給張廷玉去經營，為其撈外快之用。對於皇帝的格外恩賜，張廷玉誠惶誠恐，不敢接受。雍正就反問他："汝非大臣中第一宣力者乎！"逼他接受。
應該說作為仕途中人，在處理君臣關係上，張廷玉做得算是如魚得水了。康熙、雍正和乾隆，這三朝皇帝都對他十分賞識。康熙令他入直南書房，提拔他做副部級的禮部侍郎。雍正更是對張廷玉賞識有加，提拔他做大學士、首席軍機大臣，兼管吏、戶兩部。張廷玉有次回家省親，雍正寫信給他：「朕即位11年來，朝廷之上近親大臣中，只和你一天也沒有分離過。我和你義固君臣，情同密友。如今相隔月餘，未免每每思念。」(見《張廷玉年譜》)足以見得這份情感已經遠超君臣關係了。至於乾隆，特封他為三等伯爵，開了有清一代文臣封伯的先例。乾隆甚至在一首詩中把張廷玉比做周宣王時的賢臣仲山甫和宋朝名臣文彥博與呂端，將其奉為漢臣之首，對他可謂推崇備至。