《魏書·靈徵志》所列的「霧」，主要是大規模和嚴重的沙塵暴天氣，如「雨土如霧」，「黃霧，雨土覆地」，「土霧四塞」，「黃霧蔽塞」等。最嚴重的一次發生在孝文帝太和十二年十二月，從丙戌日（489年1月28日）開始，連續六天「土霧竟天」，「勃勃如火煙，辛慘人鼻」。該志記北魏這類大霧凡九次，其中七次在宣武帝時期，並總結說：「時高肇以外戚見寵，兄弟受封，同漢之五侯也。」《魏書》把宣武帝時期沙塵暴天氣頻發歸咎於高肇兄弟受寵，反映了北魏後期的一個主流，那就是對高肇的批判性和否定性立場。《魏書》繼承了這一立場。
高肇兄弟於景明二年（501）上半年被招入洛陽，驟然寵貴，大概需要一段時間來適應。但高肇本人至遲已於景明三年秋被授予尚書右僕射的重要官職。《魏書·北海王詳傳》：「世宗講武於鄴，詳與右僕射高肇、領軍於勁留守京師。」宣武帝到鄴城閱兵講武，在景明三年（502）九月。那時高肇以尚書右僕射留守洛陽，高顯以侍中陪同皇帝出行，兄弟二人兼顧內外，看起來是宣武帝特意的安排。高肇進一步高升，做到尚書令。《魏書》和《北史》都沒有記高肇始任尚書令的時間，我推測在正始四年九月。高肇為尚書右僕射時，尚書令是廣陽王元嘉。《魏書·世宗紀》載正始四年九月己未（507年9月24日）詔書，以「尚書令、廣陽王嘉為司空」。元嘉騰出的尚書令位置，自然立即為高肇所佔據，任命時間很可能在同一天或稍後。
高肇擔任尚書令差不多四年半。《魏書·世宗紀》延昌元年正月丙辰（512年2月27日）「以車騎大將軍、尚書令高肇為司徒公」。延昌三年（514）冬以高肇為主帥統軍徵蜀，加大將軍之號，仍居司徒之位，次年春回到洛陽被殺，司徒就是他的最終官職。《北史·外戚傳》說高肇升司徒時，「雖貴登臺鼎，猶以去要怏怏，眾鹹嗤笑之」。這時司徒最稱榮耀，可高肇還是更看重把持行政實權的尚書令一職，這反映了他看重實際、專注於當下的風格，浸潤於官場文化的那些人當然無法理解。
史書斥高肇恃寵專擅，核以記事，每虛多實少。《魏書·裴粲傳》：「時僕射高肇以外戚之貴，勢傾一時，朝士見者鹹望塵拜謁。」朝士如此巴結（或畏懼）高肇，是不是意味著如果不「望塵拜謁」，就會有麻煩呢？傳文表彰裴粲，因為他就沒有那麼做，他見高肇時，只是按照常規禮節「長揖而已」。家人怪責，裴粲回答：「何可自同凡俗也。」然而他並沒有因此倒霉，高肇不曾給他穿小鞋。高肇當尚書令時，御史中尉是遊肇，二人同名。高肇讓遊肇改名，遊肇說自己的名字是孝文帝所賜，因此堅決不肯改名。《魏書·遊肇傳》：「高肇甚銜之，世宗嘉其剛梗。」雖然惹得高肇不高興，卻博得宣武帝讚賞，高肇也拿他沒辦法。高肇為司徒時，有個儒生刁衝因高肇「擅恣威權」而上表攻擊他。《北史·刁衝傳》記刁衝「抗表極言其事，辭旨懇直，文義忠憤，太傅清河王懌覽而嘆息」。很顯然，刁衝也沒有遭到高肇的打擊報復。事實上，高肇的話宣武帝也不是都聽。《魏書·良吏傳》記宋世景特別能幹，「臺中疑事，右僕射高肇常以委之」，後高肇和尚書令元嘉一起推薦他做尚書右丞，因王顯從中作梗，「故事寢不報」，宣武帝竟然沒有批准。
見於史書的高肇主要罪狀似乎都與幾個親王之死有關。北海王元詳之廢，《魏書·北海王詳傳》說是高肇誣告：「後為高肇所譖，雲詳與（茹）皓等謀為逆亂。」元詳與茹皓勾結親暱，已見前述，茹皓之敗，牽連及於元詳，而元詳確有諸般劣跡。《魏書·彭城王傳》把元勰遇難全都推給高肇：「尚書令高肇性既兇愎，賊害賢俊。又肇之兄女，入為夫人，順皇后崩，世宗欲以為後，勰固執以為不可。肇於是屢譖勰於世宗，世宗不納。」京兆王元愉反於冀州，元勰的舅舅潘僧固「見逼從之」，也就是說，潘僧固加入了元愉的叛亂。可是，潘僧固跟隨元愉到冀州做官，恰恰是元勰推薦的。於是，傳文稱高肇誣告元勰「北與愉通，南招蠻賊」。元勰死後，其妻李妃號哭高叫：「高肇枉理殺人，天道有靈，汝還當惡死。」在宮裡率領武士逼元勰喝下毒酒的元珍，據《北史·魏諸宗室傳》，「曲事高肇，遂為帝寵暱」。宣武帝讓自己寵暱的元珍動手處死元勰，恐怕不能說是高肇的主意。元愉在冀州稱帝造反，據《北史·孝文六王傳》，「稱得清河王（元懌）密疏，雲高肇謀為殺害主上」，兵敗被俘，至野王「絕氣而死」，「或雲高肇令人殺之」。同傳又說：「司空高肇以帝舅寵任，既擅威權，謀去良宗，屢譖（元）懌及（元）愉等，愉不勝其忿怒，遂舉逆冀州。」這就把元愉造反的責任也推到高肇頭上。元懌向宣武帝指控高肇，比之於王莽，提出「宜杜漸防萌，無相僭越」，「宣武笑而不應」。
史書有關高肇「賊害賢俊」「謀去良宗」的這幾個事例，都與宣武朝權力鬥爭的核心問題有關，那就是宣武帝對幾個叔父十分警惕。在一度威脅皇權的元禧、元詳死後，宣武帝又擔心皇叔元勰在背後支援幾個皇弟，後來還的確出現了皇弟稱帝造反的大案。在這幾個親王的不幸故事中，高肇當然發揮了一定的作用，但與其說他是罪魁禍首，不如說他只是宣武帝用得稱手的一個工具而已。這個道理，當時朝中諸貴，包括幾個遭遇不幸的親王，一定也都明白，只是不可點破。李妃見到元勰屍體，傷慟已極，憤怒已極，卻也只敢咒罵高肇，其實她當然知道誰是真正拿主意的。
可以說，高肇代宣武帝擔負起全部罵名，本是皇帝制度的內在要求。《魏書·任城王傳》：「於時高肇當朝，猜忌賢戚。澄為肇間構，常恐不全，乃終日昏飲，以示荒敗。所作詭越，時謂為狂。」元澄為孝文帝所親用，名列六輔，元禧、元詳亦頗為忌憚，宣武帝對他不可能不提防。元澄「常恐不全」，決不會僅僅因為高肇的「間構」。眼見元禧、元詳、元愉、元勰如此下場，元澄採用自穢策略，「終日昏飲，以示荒敗」。
當然，宣武帝最親寵的高肇也是元澄不敢得罪的。《魏書·任城王傳》附《元順傳》記元澄子元順事（元順很可能是李令徽所生，李令徽的弟弟李子嶽娶高琨之女，即高猛的姐妹，所以元順和高肇是沾親帶故的）：
時尚書令高肇，帝舅權重，天下人士，望塵拜伏。（元）順曾懷刺詣肇門，門者以其年少，答雲「在坐大有貴客」，不肯為通。順叱之曰：「任城王兒，可是賤也！」及見，直往登床，捧手抗禮，王公先達，莫不怪懾，而順辭吐傲然，若無所睹。肇謂眾賓曰：「此兒豪氣尚爾，況其父乎！」及出，肇加敬送之。澄聞之，大怒，杖之數十。
元澄杖責元順，可能是聽說了高肇的那句評論。不過，從這個故事也可以看出，高肇還是有一定心胸的。元澄怕的不是高肇，而是高肇背後的宣武帝。不過宣武帝對高肇也不是盲目信用的。《魏書·樂志》記公孫崇為考定音律事於正始四年上表，以為金石音律所關至大，請求皇上派重臣主持，因為「自非懿望茂親、雅量淵遠、博識洽聞者，其孰能識其得失」。誰是這樣的人呢？公孫崇表曰：「衛軍將軍、尚書右僕射臣高肇，器度淹雅，神賞入微，徽贊大猷，聲光海內，宜委之監就，以成皇代典謨之美。」這樣神乎其神的美譽，高肇那時一定享受了很多，如今保留在史料裡的已相當罕見。不過宣武帝不是糊塗蛋。《魏書·樂志》說「世宗知肇非才」，一方面同意公孫崇的表請，另一方面下詔「可令太常卿劉芳亦與主之」，找來一個真正的專家與高肇一起主持其事。
敘述與事實脫節是生活的常態，不過對於高肇，以及千千萬萬有幸被歷史提到的人來說（雖然進入歷史就意味著變形），更大的不公平和不真實發生在身後，在各種各樣的歷史敘述中。試舉一例。《魏書·天象志》有如下一條：
世宗景明元年四月壬辰，有大流星起軒轅左角，東南流，色黃赤，破為三段，狀如連珠，相隨至翼。左角，後宗也。佔曰：「流星起軒轅，女主後宮多讒死者。」翼為天庭之羽儀，王室之蕃衛，彭城國焉。又佔曰：「流星於翼，貴人有憂系。」是時，彭城王忠賢，且以懿親輔政，借使世宗諒陰，恭己而修成王之業，則高祖之道庶幾興焉。而阿倚母族，納高肇之譖，明年，彭城王竟廢。
這一段敘述與分析的時間終點在景明元年（500）的「明年」，事件標誌是「彭城王竟廢」。如前所述，彭城王元勰「悲喜交深」地「釋位歸第」，在景明二年正月庚戌（501年2月18日）。那時高肇兄弟還在平城，未曾參與宣武帝從輔政諸王手中奪回權力的宮廷政變，與洛陽的權鬥毫無干係，說宣武帝這時「阿倚母族，納高肇之譖」，是一點也不符合真實歷史的。事實上，正是在高肇擔任尚書右僕射以後的景明四年（503）七月，被廢的元勰才重新起用，高拜太師。上引這段對於星佔的歷史分析更違背史實的，是說「是時，彭城王忠賢，且以懿親輔政」，似乎不知道元勰本來就不在六輔之列，說什麼「借使世宗諒陰，恭己而修成王之業，則高祖之道庶幾興焉」，更是離題萬里了。
身份制與等級制社會對出身與流動限度是非常敏感的，出身寒賤者只宜在一個限閾內流動，如果因某種機緣突破了制度設定的流動極限，進入由特定身份等級社會所專屬的那個階層，他就成為通常不受歡迎的特例。對高等級政治職務的壟斷，反映了國家對高等級社會經濟政治利益的制度性保障，與此相配合，就有一整套意識形態設定，其基本輿論不僅是當時政治的晴雨表，也會反映在歷史編纂中。突破身份的制度性極限，意味著必然面對否定性的社會輿論。清人錢大昕說：「六朝人重門第，故寒族而登要路者，率以恩倖目之。」目之為恩倖，就是對其權位予以倫理性的否定。
高肇家族既非拓跋崛起所賴的代人，又與華北名族的社會網路無關，驟得權勢，超然於宗室及舊族之上，當然會被權貴社會視為異類，和那些被列入《恩倖傳》的人物差不太多。《北史·外戚傳》：「（高）肇出自夷土，時望輕之。」表面上是針對高肇的出身，其實是因為他過於突然地闖入了權勢階層。權勢是限量供應的絕對奢侈品，在高等級社會內也存在著血與火的競爭，現在一個外人未經競爭而輕鬆攫取，可想而知，他必定成為整個高等級社會的眼中釘。
然而，皇帝制度又在法理上決定了一切政治權力都不過是皇權的延伸，也就是說，皇帝既是一切官爵合法性的來源，也是一切官爵的終極分配者。皇帝制度內在屬性之一，就是皇帝可以突破已有制度。由此決定了官職競爭中總有彎道超車者，也總有火箭式幹部。當宣武帝這樣一個內心安全感甚弱，對外界難以信任的皇帝在位，他總是更容易信任那些與他有個人性聯絡的人。那麼很自然的，他會信用當他還處在弱勢地位時與他親近的人，也就是東宮時期和親政之前的侍衛、御醫、宦官等等，再就是與他母親有關聯者，包括宮女和外戚。高肇兄弟「數日之間，富貴赫奕」，要放在這個背景下理解。
高肇以帝舅之尊，深得宣武帝信任，封以高爵，授以重官，只要這種信任不變，朝野內外是無人能奈他何的。但加官晉爵是一回事，操弄權柄是另一回事。有名有位，只是理論上有權有勢，要實際上享受權勢而不是被權勢吞噬，還需要一定的個人條件或個人努力。《北史·外戚傳》稱高肇「及在位居要，留心百揆，孜孜無倦，世鹹謂之為能」。顯然他具備一定的政務能力，而且他還喜歡做事。這樣一個與既得利益集團全無聯絡的人，有政務才能又熱衷政務的人，母舅之親，把他放到尚書省長官的位置上，年輕的宣武帝就有了控制朝政的安全感。高肇雖一開始只是擔任尚書右僕射，但尚書令元嘉「好飲酒，或沉醉」，不愛管事（或不敢管事），高肇實際上控制了朝廷政務。有了宣武帝的信任和支援，可以說高肇在官僚體系裡不需要擔心遭遇抗衡或威脅。
然而，這並不意味著高肇真是一人之下萬人之上。實際上，在很長一段時間裡，高肇並不是宣武帝最親近的人。有人比他更靠近皇上，更懂得怎樣與皇帝相處，也更得皇上信任，他們就是《恩倖傳》重點寫的趙修和茹皓等侍衛出身的親信。跟他們比起來，高肇的獨特之處在於，他能夠讓宣武帝對他的信任保持長達十三四年，可以說始終不渝。而趙修、茹皓這樣的親信，固然一時親寵無兩，但他們都沒有能力長期維持宣武帝對他們親寵的熱度。而且，當六輔消散，權勢為宣武帝親信人群所獨享時，這個人群內部勢必存在著權勢分配的競爭。高肇能夠成功上升，就因為他在所有競爭中都勝出了。當競爭對手一個一個被扳倒，高肇就成為宣武朝一個耀眼的政治現象。
據《魏書·恩倖傳》載宣武帝黜落趙修的詔書，趙修最後的官職是散騎常侍、鎮東將軍、領扈左右，三者之中最有實際意義的是領扈左右。領扈左右，即領左右，是皇帝禁衛系統中最內層、靠近皇帝的衛士長（北魏末年的權臣如爾朱榮都要親自兼任這個低階別武官）。趙修在東宮只是「白衣左右」，宣武帝即位後「仍充禁侍，愛遇日隆」，至遲在宣武帝親政後就開始擔任領左右了。宣武帝這封詔書寫得十分講究，顯然是高聰、邢巒這一級別文士的作品。詔書為宣武帝開脫，說趙修「昔在東朝，選充臺皂」，指趙修以白衣左右的身份服務於太子宮，在這個過程中與宣武帝建立起個人感情，所謂「幼所經見，長難遺之」。詔書以此解釋為什麼即位後不只要用他（「故纂業之初，仍引西禁」，東指太子宮，西指皇宮），而且還要重用他（「識早念生，遂升名級」），儘管他是不值得重用的（「地微器陋，非所宜採」）。