《世說新語·任誕》第一條：「陳留阮籍，譙國嵇康，河內山濤，三人年皆相比，康年少亞之。」說阮籍、嵇康、山濤年紀都差不多，嵇康只是略微小一點，這顯然不大準確。山濤是零零後（205—283），阮籍是最大的一零後（210—263），嵇康是二零後（224—263），山濤比嵇康要大十八歲。看壽命，這三個人是生得越早的，死得越晚。
說竹林七賢喝酒「肆意酣暢」，應該是不包括山濤的。每次朋友們喝得大醉，保持清醒收拾殘局的，肯定是山濤。他是個對自己酒量特別有數的人，一飲八斗，到此為止，很多年以後，晉武帝請山濤喝酒，悄悄添了額外的量，但山濤該喝多少就是多少，八斗之後絕不多啜一口。
從各方面看，山濤都是與阮籍、嵇康他們完全不同的人。
山濤的家世，其實也只平平，父親做到縣令，祖父舉過孝廉，再往上的情況，史書就沒有記載了，可見不會太風光。這種門第，在家鄉還有點地位，拿到全國範圍看，通常就不值一提。
不過山濤是河內郡懷縣（今河南武陟西南）人，這就不一樣了。
河內郡的家族彼此通婚。山濤有一個姑奶奶，嫁給了一個姓張的縣令，生了一個女兒，叫張春華。張春華有幸高攀，嫁到了河內溫縣的一個高門大姓，她的丈夫，叫司馬懿。
山濤年紀很輕的時候，就被當作宗族的希望，因此山家很希望能利用上和司馬家的親戚關係。史料中有這樣一條：
山濤……年十七，宗人謂宣帝曰：「濤當與景、文共綱紀天下者也。」帝戲曰：「卿小族，那得此快人邪？」（虞預《晉書》）
這顯然是後人追溯的記錄，所以對司馬懿（宣帝）、司馬師（景）、司馬昭（文），都稱其諡號。
山濤十七歲的時候，山家有人對司馬懿說：「我們家山濤，是可以和你兒子司馬師、司馬昭一起治理天下的。」
如果這段記載屬實，那麼山濤這個親戚，委實有點不識眉眼高低。隨著司馬懿事業不斷取得成功，聯姻物件也在升級，對親家本來就未必有多少好感，何況是親家的親家的家裡一個窮小子？
硬湊上來的遠房窮親戚，話又說得這麼直白浮誇，難怪司馬懿不愛聽，所以回的話也很難聽：「你們這麼個小家族，能出這麼了不起的人物嗎？」
山濤很長時間裡都沒有進入司馬家的權力圈子。
於是山濤的仕途，也就得慢慢來，《晉書·山濤傳》說他四十歲才做到河內郡的主簿。一郡的佐官，以主簿為首，以常人的眼光看，這個職務就很不低，但和山濤後來的權位比，自然顯得很卑微。
山濤四十歲是正始五年（244），嵇康搬到河內山陽縣來，差不多也是這時候或略早。所以山濤和阮籍、嵇康結識，可能也就在此時，於是出現了這個著名場景：
山公與嵇、阮一面，契若金蘭。山妻韓氏，覺公與二人異於常交，問公。公曰：「我當年可以為友者，唯此二生耳！」妻曰：「負羈之妻亦親觀狐、趙，意欲窺之，可乎？」他日，二人來，妻勸公止之宿，具酒肉。夜穿墉以視之，達旦忘反。公入曰：「二人何如？」妻曰：「君才致殊不如，正當以識度相友耳。」公曰：「伊輩亦常以我度為勝。」（《世說新語·賢媛》）
山濤和嵇康、阮籍見了一次面後，就覺得情義特別投合。——所謂「契若金蘭」，是《周易·繫辭》裡的典故：「二人同心，其利斷金；同心之言，其臭如蘭。」
山濤的妻子韓氏，發現了這一點，就向山濤打聽二人的情況。
山濤說：「我這輩子可以結為好友的，只有這兩位罷了！」
韓氏就說了《左傳》裡的一個典故：晉文公重耳在各國間流亡經過曹國的時候，曹國大夫僖負羈的妻子曾悄悄觀察過重耳的隨從，發現狐偃和趙衰二人非等閒之輩，於是勸丈夫要對重耳好。而後來重耳成了一代霸主，也仍然記得這份人情。
韓氏的意思，是自己也想看看阮籍、嵇康，她相信自己的見識，覺得自己看一看，對丈夫也是幸事。
山濤也就答應了。
幾天後，阮籍、嵇康來山濤家做客，留下來過夜。韓氏也就從牆洞裡看他們兩個，看了整整一個通宵，天亮了都差點忘了回自己的寢室。
山濤問韓氏：「你覺得這兩個是什麼樣的人？」
韓氏很坦白：「你的才華、情致都比人家差遠了，只能靠見識、氣度和他們結交罷了。」
山濤倒也很淡定：「他們也常常認為我過人的地方，就是氣度。」
妻子的評價和山濤的自我評價，都是很準的。
山濤功成名就之後，人家讚美他的話，類似「如登山臨下，幽然深遠」「如璞玉渾金，人皆欽其寶，莫知名其器」之類，其實也都是在說，山濤的才華、情致，看起來不明顯。
所謂山濤的「識度」，識是山濤看問題的預見性，度是山濤可以和各色人等都和諧相處，也就是處理複雜人際關係的能力。這些優點，在你還是職場「小透明」的時候，不容易被注意到，越是地位高且有身份了，則越容易讓人覺得，這可真是至關重要。
所以山濤註定是個大器晚成的人。他生活節制有規律，不酗酒，不納妾，更不見他服五石散的記錄，看來也就是憋著要和人「拼壽命」的。
就這樣，山濤雖然沒有特別的後臺，但慢慢也得到了升遷。大約是正始八年（247），山濤就被闢為「部河南從事」。
「部」是司隸校尉部的省稱，司隸校尉部的核心是河南郡，而河南郡的治所，就是京都洛陽。所以到河南尹身邊任從事，山濤這是進入機要部門了。
而當時的司隸校尉畢軌、河南尹李勝，都是曹爽的死黨。於是，作為司馬懿的老鄉和遠房親戚，山濤成了曹爽一黨。
當時司馬懿躺在家裡裝病，曹爽的氣勢煊赫到頂點，兩派鬥爭似乎勝負已分。但山濤顯然很清楚，自己的這位表姑父隱忍的性情和變詐的手段有多麼恐怖。
與石鑑共宿，濤夜起蹴鑑曰：「今為何等時而眠邪！知太傅臥何意？」鑑曰：「宰相三不朝，與尺一令歸第，卿何慮也！」濤曰：「咄！石生無事馬蹄間邪！」投傳而去。（《晉書·山濤傳》）
一次，山濤與石鑑（後來也是晉朝的開國元勳）共宿，山濤半夜起來，踢醒石鑑說：「如今是何等時候，怎麼還睡得這麼安穩！知不知道太傅（指司馬懿）臥病，到底是什麼用意？」
石鑑說：「宰相多次不上朝，給他個尺把長的詔書讓他回家就是了，你何必操心呢！」山濤說：「咄！石生，沒有必要再繼續做官了！」於是山濤丟棄官符回家。
正始十年（249），司馬懿果然發動了高平陵之變，一舉翻盤。
而山濤繼續隱居在家，一直到兩年後的嘉平三年（251）司馬懿去世，司馬師執政期間，山濤才出山。
幾年前山濤從官場及時抽身，想必提高了自己的聲望。司馬師比山濤小三歲，基本算同齡人；司馬師用人，比父親更加看淡門第不拘一格；司馬師當年也是被列入「浮華」名單的，對名士做派的好感可能更多一些；另外，司馬懿晚年對妻子張春華極其嫌棄，司馬師、司馬昭兄弟卻始終敬愛母親，所以對母親孃家的親戚，司馬師自然也會更友善一些。
總之，和父親司馬懿表示鄙視不同，司馬師一見山濤，就給了一句極高的評價：「呂望欲仕邪？」
呂望就是後世民間所謂的姜太公。他曾服事商朝，年紀很大後卻轉而輔佐周文王、周武王，成為改朝換代的頭號功臣。司馬師把山濤想做官比作「呂望欲仕」，既是對山濤的讚美，自然也透露出自己對未來的期待。
之後山濤基本就算官運亨通，不論司馬師、司馬昭還是後來當上皇帝的司馬炎，都對山濤極為親待信賴。最突出的案例是，鍾會害死嵇康的後一年，就在蜀地作亂，司馬昭親自去平定，臨出發前，把監督集中在鄴城的曹魏諸王的任務交給山濤，並對他說：「西偏吾自了之，後事深以委卿！」
沒有最大的信任，怎麼會託付給山濤這樣的重任？後世人批評山濤，說你名列竹林七賢，應該是清高人士，怎麼可以阿附司馬氏？這可真是把山濤瞧得小了，山濤哪裡是簡單的阿附而已，人家明明是司馬氏集團的核心成員。
正因為是這樣的身份，山濤成名之前就引以為豪的「識度」，也就有了非常多的展示機會。
先說「識」。
山濤的見識，體現在參與國家政策的制定上，最著名的如這件事：
晉武帝講武於宣武場，帝欲偃武修文，親自臨幸，悉召群臣。山公謂不宜爾，因與諸尚書言孫、吳用兵本意。遂究論，舉坐無不諮嗟。皆曰：「山少傅乃天下名言。」後諸王驕汰，輕遘禍難，於是寇盜處處蟻合，郡國多以無備，不能制服，遂漸熾盛，皆如公言。時人以謂山濤不學孫、吳，而暗與之理會。王夷甫亦嘆雲：「公暗與道合。」（《世說新語·識鑑》）
晉武帝在宣武場舉行軍事演習，藉機就想「偃武修文」——具體說，晉武帝是想「罷州郡兵」，也就是把軍事力量集中到中央和幾個主要軍區，地方上的治安部隊，就不要了。
這麼做的好處，一是按照儒家經典和史書的說法，古代聖王在位天下大治，就會這樣做；二是地方不再養這些兵，也可以節省許多財政開支。
但是山濤認為當下不應該採用這種政策，於是侃侃而談，闡釋孫子、吳起兵法的本意，究竟是怎樣的。山濤平常並不鑽研這些，也不是高談闊論的人，可是這番道理，說得卻特別好。所以舉座無不歎服，都說：「山少傅說的，真是天下名言。」
後來八王之亂的時候，盜賊蜂起，州郡沒有兵力，也就無可奈何。越發證明山濤真是遠見卓識。
不妨順帶一提的是：這裡稱山濤為「山少傅」，山濤任太子少傅是在晉武帝咸寧初年，《晉書·武帝紀》則提到，咸寧元年（275）和三年（277），晉武帝兩次到宣武場講武，《晉書·山濤傳》則提到參與這次討論的人物，還有個叫盧欽的，這人是咸寧四年（278）去世的。也就是說，這件事發生的時間，應該是在咸寧年間，當時晉還沒有滅吳，天下還未一統。
看來晉武帝動「偃武修文」的心思，真是挺著急的。
唐代作《晉書·山濤傳》的史臣，和宋代著《資治通鑑》的司馬光，都覺得晉武帝不該這麼著急，所以把這件事挪到了晉滅吳之後。但滅吳之後到山濤去世之前這段日子裡，晉武帝沒有去宣武場講武，山濤已經不是少傅，盧欽也已經死了，所以這兩部權威史書的處理，是不合理的，反而是《世說新語》這麼一部「段子集」，倒沒有問題。這種小說比正史可靠的情況，其實也是很常見的現象。
山濤的見識，更體現在對人物的識別上。