帝欲自討遼東，遂良固勸無行：「一不勝，師必再興；再興，為忿兵。兵忿者，勝負不可必。」帝然可。會李勣詆其計，帝意遂決東。遂良懼，上言：「臣請譬諸身。兩京，腹心也；四境，手足也；殊裔絕域，殆非支體所屬。高麗王陛下所立，莫離支殺之。討其逆，夷其地，固不可失，但遣一二慎將，付銳兵十萬，翔雲輣，唾手可取。昔侯君集、李靖皆庸人爾，猶能撅高昌，纓突厥，陛下止發蹤指示，得歸功聖明。前日從陛下平天下，虓士爪臣，氣力未衰，可驅策，惟陛下所使。臣聞涉遼而左，或水潦，平地淖三尺，帶方、玄菟，海壤荒漫，決非萬乘六師所宜行。」是時，帝銳意蕩平，不見省。進黃門侍郎，參綜朝政。莫離支遣使貢金，遂良曰：「古者討殺君之罪，不受其賂。魯納郜鼎太廟，《春秋》譏之。今莫離支所貢不臣之篚，不容受。」詔可，以其使屬吏。
帝既平高昌，歲調兵千人往屯，遂良誦諍不可，帝志取西域，寘其言不用。西突厥寇西州，帝曰：「往魏徵、褚遂良勸我立麴文泰子弟，不用其計，乃今悔之。」帝於寢宮側別置院居太子，遂良諫，以為「朋友深交者易怨，父子滯愛者多愆。宜許太子間還東宮，近師傅，專學藝，以廣懿德。」帝從其言。會父喪免，起復，拜中書令。
帝寢疾，召遂良、長孫無忌曰：「嘆武帝寄霍光，劉備託諸葛亮，朕今委卿矣。太子仁孝，其盡誠輔之。」謂太子曰：「無忌、遂良在，而毋憂。」因命遂良草詔。高宗即位，封河南縣公，進郡公。坐事出為同州刺史。再歲，召拜吏部尚書、同中書門下三品，監修國史，兼太子賓客。進拜尚書右僕射。
帝將立武昭儀，召長孫無忌、李勣、于志寧及遂良人。或謂無忌當先諫，遂良曰：「太尉，國元舅，有不如意，使上有棄親之譏。」又謂勣上所重，當進，曰：「不可。司空，國元勳，有不如意，使上有斥功臣之嫌。」曰：「吾奉遺詔，若不盡愚，無以下見先帝。」既入，帝曰：「罪莫大於絕嗣，皇后無子，今欲立昭儀，謂何？」遂良曰：「皇后本名家，奉事先帝。先帝疾，執陛下手語臣曰：‘我兒與婦今付卿！」且德音在陛下耳，可遽忘之？皇后無它過，不可廢。」帝不悅。翌日，復言，對曰：「陛下必欲改立後者，請更擇貴姓。昭儀昔事先帝，身接帷第，今立之，奈天下耳目何？」帝羞默。遂良因致笏殿階，叩頭流血，曰：「還陛下此笏，丐歸田裡。」帝大怒，命引出。武氏從幄後呼曰：「何不撲殺此獠？」無忌曰：「遂良受顧命，有罪不加刑。」會李勣議異，武氏立，乃左遷遂良潭州都督。
顯慶二年，徙桂州，未幾，貶愛州刺史。遂良內憂禍，恐死不能自明，乃上表曰：「往者承乾廢，岑文本、劉洎奏東宮不可少曠，宜遣濮王居之，臣引義固爭。明日仗入，先帝留無忌、玄齡、勣及臣定策立陛下。當受遺詔。獨臣與無忌二人在，陛下方草土號慟，臣即奏請即位大行柩前。當時陛下手抱臣頸，臣及無忌請即還京，發哀大告，內外寧謐。臣力小任重，動貽伊戚，螻螘餘齒，乞陛下哀憐。」帝昏懦，牽於武后，訖不省。歲餘，卒，年六十三。
後二歲，許敬宗、李義府奏長孫無忌逆謀皆遂良驅煽，乃削官爵。二子彥甫、彥沖流愛州，殺之。帝遣詔聽其家北還。神龍中，復官爵。德宗追贈太尉。文宗時，詔以遂良五世孫虔為臨汝尉。安南觀察使高駢表遂良客窆愛州，二男一孫祔。鹹通九年，詔訪其後護喪歸葬陽翟雲。
遂良曾孫璆，字伯玉，擢進士第，累拜監察御史裡行。先天中，突厥圍北庭，詔璆持節監總督諸將，破之。遷侍御史，拜禮部員外郎。而氣象凝挺，不減在臺時。
韓瑗，字伯玉，京兆三原人。父仲良，武德初，與定律令，建言：「周律，其屬三千，秦、漢後約為五百。依古則繁，請崇寬簡，以示惟新。」於是採《開皇律》宜於時者定之。終刑部尚書、秦州都督府長史、潁川縣公。
瑗少負節行。博學，曉吏事。貞觀中，以兵部侍郎襲爵。永徽三年，遷黃門侍郎。俄同中書門下三品，監修國史。進侍中，兼太子賓客。王后之廢，瑗雪泣言曰：「皇后乃陛下在籓時先帝所娶，今無罪輒廢，非社稷計。」不納。明日復諫曰：「王者立後，配天地，象日月。匹夫匹婦尚知相擇，況天子乎？《詩》雲：‘赫赫宗周，褒姒滅之。’臣讀至此，常輟卷太息，不圖本朝親見此禍。宗廟其不血食乎！」帝大怒，詔引出。褚遂良貶潭州都督，明年瑗上言：「遂良受先帝顧託，一德無二，向日論事，至誠懇切，詎肯令陛下後堯、舜而塵史冊哉？遭厚謗醜言，損陛下之明，折志士之銳。況被遷以來，再離寒暑，其責塞矣。願寬無辜，以順眾心。」帝曰：「遂良之情，朕知之矣。其孛戾好犯上，朕責之，詎有過邪？」瑗曰：「遂良，社稷臣。蒼蠅點白，傅致有罪。昔微子既去，殷以亡；張華不死，晉不及亂。陛下富有四海，安於清泰，忽驅逐舊臣，遂不省察乎？」帝愈不聽。瑗憂憤，自表歸田裡，不報。
顯慶二年，許敬宗、李義府奏「瑗以桂州授遂良，桂用武地，倚之謀不軌。」於是貶振州刺史，逾年，卒，年五十四。長孫無忌死，義府等復奏瑗與通謀，遣使即殺之；既至，瑗已死，發棺驗視乃還。追削官爵，籍其家，子孫謫廣州官奴。神龍初，武后遺詔復官爵。自瑗與遂良相繼死，內外以言為讀將二十年。帝造奉天宮，御史李善感始上疏極言，時人喜之，謂為「鳳鳴朝陽」。
來濟，揚州江都人。父護兒，隋左翊衛大將軍。宇文化及難，闔門死之，濟幼得免。轉側流離，而篤志為文章，善議論，曉暢時務，擢進士。貞觀中，累遷通事舍人。太子承乾敗，太宗問侍臣何以處之，莫敢對。濟曰：「陛下上不失為慈父，太子得盡天年，則善。」帝納之。除考功員外郎。十八年，初置太子司議郎，高其選，而以濟為之，兼崇賢館直學士。遷中書舍人。永徽二年，拜中書侍郎，兼弘文館學士，監脩國史。俄同中書門下三品，封南陽縣男。遷中書令，檢校吏部尚書。
帝將以武氏為後，濟諫曰：「王者立後，以承宗廟、母天下，宜擇禮義名家、幽閒令淑者，副四海之望，稱神祗之意。故文王興姒，《關睢》之化，蒙被百姓，其福如彼；成帝縱慾，以婢為後，皇統中微，其禍如此。惟陛下詳察。」初，武氏被寵，帝特號「宸妃」。濟與韓瑗諫：「妃有常員，今別立號，不可。」武氏已立，不自安。後更謾言濟等忠鯁，恐前經執奏，輒懷反仄，請加賞慰，而實銜之。帝示濟及瑗，濟等益懼。
顯慶初，兼太子賓客，進爵為侯。帝嘗從容問馭下所宜，濟曰：「昔齊桓公出遊，見老人，命之食，曰：‘請遺天下食。’遺之衣，曰：‘請遺天下衣。’公曰：‘吾府庫有限，安得而給？」老人曰：‘春不奪農時，即有食；夏不奪蠶工，即有衣。’由是言之，省徭役，馭下之宜也。」於時山東役丁，歲別數萬人，又議取庸以償僱，紛然煩擾，故濟對及之。二年，兼詹事。尋坐褚遂良事，貶台州刺史。久之，徙庭州。龍朔二年，突厥入寇，濟總兵拒之，謂其眾曰：「吾嘗絓刑罔，蒙赦死，今當以身塞責。」遂不介冑而馳賊，沒焉，年五十三。贈楚州刺史，給靈轜還鄉。
初，濟與高智周、郝處俊、孫處約客宣城石仲覽家，仲覽衍於財，有器識，待四人甚厚。私相與言志，處俊曰：「願宰天下。」濟及智周亦然。處約曰：「宰相或不可冀，願為通事舍人足矣。」後濟領吏部，處約始以瀛州書佐入調，濟遽注曰「如志」，遂以處約為通事舍人。後皆至公輔雲。
濟異母兄恆，上元中，為黃門侍郎、同中書門下三品，父本驍將，而恆、濟俱以學行稱，相次知政事。時虞世南子昶無才術，歷將作少匠、工部侍郎，主工作。許敬宗曰：「護兒兒作相，世南男作匠，文武豈有種邪？」
李義琰，魏州昌樂人，其先出隴西望姓。及進士第，補太原尉。李勣為都督，僚吏憚其威，義琰獨敢廷辨曲直，勣甚禮之。徙白水令，有能名，擢司刑員外郎。義琰姿體魁秀，博學，有智識。累遷中書侍郎。上元中，進同中書門下三品，兼太子右庶子。高宗欲使武后攝國政，義琰與郝處俊碧爭，事得寢。章懷太子之廢，盡赦宮臣罪，庶子薛元超等皆蹈舞，義琰獨引咎涕泣，搢紳義之。帝每顧問，必鯁切不回。宅無正寢，弟義璡為市堂材送之。義琰曰：「以吾為國相，且自愧，尚營美宇，是速吾禍，豈愛我者邪？」義璡曰：「凡仕為丞尉，且崇第舍，兄位高，安可逼下哉？」答曰：「不然。事難全遂，物不兩興。既處貴仕，又廣居宇，非有令德，必受其殃。」卒不許。後其木久腐，乃棄之。
義琰改葬其先，使舅家移塋而兆其所。帝聞，怒曰：「是人不可使秉政。」義琰懼，以疾乞骸鼻，遷銀青光祿大夫，聽致仕，乃歸田裡。公卿以下悉祖餞通化門外，時人比漢疏廣。垂拱初，起為懷州刺史，自以失武后意，辭不拜，卒。
子巢，幼豪俊，善騎射，而不治細行。義琰嘗拘之，絕其交遊。後亡走闕下，獻書陳利害。拜監察御史，與李義府同按柳奭、韓瑗獄，遷殿中。上書忤旨，貶龍編主簿。
義琰從祖弟義琛。義琛擢進士第，歷監察御史。貞觀中，文成公主貢金，遇盜於岐州，主名不立。太宗召群御史至，目義琛曰：「是人神情爽拔，可使推捕。」義琛往，數日獲賊。帝喜，為加七階。初，義琰使高麗，其王據榻召見，義琰不拜，曰：「吾，天子使，可當小柄之君，奈何倨見我？」王祠屈，為加禮。及義琛再使，亦坐召之，義琛匍匐拜伏。時人由是見兄弟優劣。
累遷刑部侍郎。為雍州長史，時關輔大飢，詔貧人就食商、鄧，義琛恐流徙不還，上疏固爭。左遷黎州都督，終岐州刺史。
子綰，為柏人令，有仁政，縣為立祠。
上官儀，字遊韶，陝州陝人。父弘，為隋江都宮副監，大業末，為陳稜所殺。時儀幼，左右匿免，冒為沙門服。浸工文詞，涉貫墳典。貞觀初，擢進士第，召授弘文館直學士。遷秘書郎。太宗每屬文，遣儀視藁，宴私未嘗不預。轉起居郎。高宗即位，為秘書少監，進西臺同東西臺三品，時以雍州司士參軍韋絢為殿中侍御史，或疑非遷。儀曰：「此野人語耳。御史供奉赤墀下，接武夔龍，簉羽鵷鷺，豈雍州判佐比乎？」時以為清言。儀工詩，其詞綺錯婉媚。及貴顯，人多效之，謂為「上官體」。
麟德元年，坐梁王忠事下獄死，籍其家。初，武后得志，遂牽制帝，專威福，帝不能堪；又引道士行厭勝，中人王伏勝發之。帝因大怒，將廢為庶人，召儀與議。儀曰：「皇后專恣，海內失望，宜廢之以順人心。」帝使草詔。左右奔告後，後自申訴，帝乃悔；又恐後怨恚，乃曰：「上官儀教我。」後由是深惡儀。始，忠為陳王時，儀為諮議，與王伏勝同府。至是，許敬宗構儀與忠謀大逆，後志也。自褚遂良等元老大臣相次屠履，公卿莫敢正議，獨儀納忠，禍又不旋踵，由是天下之政歸於後，而帝拱手矣。
子庭芝，歷周王府屬，亦被殺。庭芝女，中宗時為昭容，追贈儀為中書令、秦州都督、楚國公；庭芝黃門侍郎、岐州刺史、天水郡公，以禮改葬。
贊曰：高宗之不君，可與為治邪？內牽嬖陰，外劫讒言，以無忌之親，遂良之忠，皆顧命大臣，一旦誅斥，忍而不省。反天之剛，撓陽之明，卒使牝硃鳴辰，祚移後家，可不哀哉！天以女戎間唐而興，雖義士仁人抗之以死，決不可支。然瑗、濟、義琰、儀四子可謂知所守矣。噫，使長孫不逐江夏、害吳王，褚不譖死劉洎，其盛德可少訾乎！