次日一早，黃藥師與馮蘅驅車向廬山而來，這廬山有「五嶽之外，首推廬山」之譽，相傳周朝有匡氏七兄弟在此山結廬修行，故而廬山又有「匡廬」之稱。
山下天氣炎熱，山上卻是舒爽怡人，二人轉入大林寺，卻已不見當年白居易所吟詠之桃花，馮蘅頗感無趣，忽然問道：「不知黃大哥在桃花島栽種的那些桃樹，如今還開花不開？」
黃藥師一時不知如何做答，想來花期已過，自然之規律如此，人力萬難違悖。二人轉過花徑亭，卻見錦繡谷山花爛漫如錦繡，斷崖天成，石林挺秀，怪松覆壁，穿雲破霧，別有一番景色。
來到龍首崖，見那懸崖拔地千尺，飛舞天外，宛如蒼龍昂首天空，崖下怪石嶙峋，奇松倒懸。傳說廬山寺僧在此處縱身而逝，故又稱捨身崖。黃藥師環顧四周，欣賞美景，卻見那綠樹掩映之間，現出一座道觀，白牆黑瓦，十分雅緻，那幾根紅柱，分外搶眼。黃藥師不由得自語道：「這些僧道真會享受，如此幽靜秀麗之所，卻被這些好吃懶作的傢伙霸佔了去。」
馮蘅心中暗笑，道：「我們且去看看那些好吃懶作的傢伙吧。」
那道觀隱在幽靜處，道路頗為難走，走了半晌，才到得觀前。那道觀門前懸著一塊巨匾，上書「簡寂觀」三個鎦金大字。
黃藥師心念一動，道：「昨日在那客棧借宿，方始進門之時，那店伴大聲呵斥，卻道廬山簡寂觀倒塌，所鎮妖魔逃逸，是而方圓百里家家在門前燃燭焚香，趨鬼辟邪。今日到了這簡寂觀來，見這道觀毫無破損，方知平民之愚。」
二人拾階而上，卻見觀門立著一個黑衣道士，三十多歲，中等身材，不修邊幅，滿臉虯髯。那麵皮被黑衣黑鬚映襯，一臉晦氣，樣子頗為兇惡。
那道士見了二人，開口道：「參寂道長外出未歸，二位且請觀外等吧。」
黃藥師道：「我不認識道長師父，只是隨便看看，即刻便走。」
那道士道：「貧道如幻，這參寂道長不是家師，乃是我的師伯。我在此等候兩日了，也未見師伯尊駕。」說著閃身讓路，將二人讓到觀中。
觀內與其他道觀殊無二致，迎面是一座大殿，隱約供奉著太上老君，兩側是兩座配殿，右邊那座配殿，卻是倒掉了。那瓦礫之上，橫著一塊匾額，上書「文淵閣」三個字。
馮蘅笑道：「原來不是什麼簡寂觀倒了，卻是配殿文淵閣毀壞了。」
黃藥師暗自思忖：「這文淵閣的名字，似乎該的個藏書的所在，為何卻傳說鎮伏著妖魔？」
一時理不出頭緒，轉到左邊配殿，卻見裡面書籍成山，摞得整整齊齊，不下三五千冊，黃藥師本是一介儒生，見到這些書籍，便再也走不動步子，翻看幾本，立刻興致大減，原來多是道藏書籍，光怪陸離，頗為費解。
就在這時，忽聽背後有人叫喊：「兀那書生，你怎的亂翻？」
黃藥師一愣，回頭看去，卻是一個小道童呵斥自己，見他年幼，不過十一二歲，不怒反笑，笑道：「你是？」
那道童不畏生人，大聲道：「參寂道長是我師父。」
那中年道士如幻叫道：「小孩子莫胡說，我師伯從來不收弟子。」
道童臉一紅，道：「反正師父遲早會收我做徒弟，師父外出雲遊，便將這道觀交與我了。」
黃藥師道：「師父囑咐你不許生人碰這些書是不是？」
道童仰起頭，道：「師父說這些書便是鬼怪妖魔，師父自己從不翻看。」
黃藥師暗笑，道士禁看道藏書籍，倒是有趣，將手中書籍放回原處，踱步出了配殿。
道觀內天井中央放著一個大香爐，薰香四溢，十分嗆人，黃藥師見那香爐卻是近代之物，並不十分珍貴，也懶得再看。倒是馮蘅好奇，圍著香爐轉了幾圈，開口道：「黃大哥，這裡有你的本家呢。」
黃藥師一奇，走進香爐，順著馮蘅手指看去，見那香爐銘文中有「黃裳」二字。
黃藥師頗為奇怪，對小道童道：「黃裳是誰？」
小道童全不理會，轉身背對著黃藥師。
黃藥師心下奇怪，自己問他話，他怎麼以背相向？只得走到小道童前面，道：「你知不知道那黃裳是什麼人？不瞞你說，在下也姓黃。」
小道童冷哼一聲道：「你和凡人講話，需稱人家閣下；你與我講話，也該先叫一聲師父。你不叫，我不喜歡和你說話。」
黃藥師見這小道童年紀雖小，卻是狷介得緊，倒是很對自己的脾氣，笑道：「請教師父，那黃裳是何許人也？」
小道笑道：「這還用問，自然是捐鑄香爐的善人了。」
黃藥師知道問不處所以來，只好做罷，攜起馮蘅纖手，便要下山。
恰在此時，觀門一響，門外走進三個人來。黃藥師一看，嶽詩琪、蔣振宇赫然就在其中，一時手足無措，窘在那裡不知如何是好。
那小道卻是精靈，一下子撲過去，叫道：「師父，你回來啦。」
那中年道士恭敬立在一旁，道：「弟子如幻給師伯請安。」
那老道伸手一撥，甩開小道童，道：「我不是你師父，你從哪裡尋到這道袍穿？」
小道也不以為忤，上前又要抱師父，那老道全不理會，二目精光四射，逼視著黃藥師。黃藥師頓覺心頭一寒，仔細再看，發現這老道赫然就是昨日混在鏢師裡面的那個老和尚！昨日他三人護寶衣不利，不去向江州知府謝罪，為何跑到廬山來？
黃藥師認出此人，心中不禁暗笑，昨日見他禿頭，便認做和尚，不想今日卻搖身變成簡寂觀的觀主。看這老者道冠，差點笑出聲音來。那道士的道冠象一個漏底的篩子，髮髻盤在頭頂，露出帽外，用簪子別住，此人年老無發，卻是在那道冠上纏著黑線束成髮髻模樣。
黃藥師正看著老道的假髮出神，聽那道長叫道：「黃藥師，昨日我沒取你性命，今日你自己送上門來，卻怨不得我！」
蔣振宇大聲說道：「道長，殺了他！」
黃藥師也不理會蔣振宇說什麼，反正他夫妻二人是恨極了自己，只是自己從前未與這禿頭老道說過一句話，想不到一見面，這道人便惡語相加，要取自己性命，心下登時無比惱惡。
立在門首那黑鬚的中年道士一聽「黃藥師」三個字，渾身大震，叫道：「參寂師伯，他就是黃藥師麼？家師的胳臂就是被這鳥人砍掉的，師侄此來就是懇請師伯替師父報仇雪恨！」
黃藥師一聽，心中暗暗叫苦，數月前自己在臨安砍參寥道長獨臂，此時他的徒弟找上門來尋仇，而適才進來這老道竟然是參寥的師兄。參寂、參寥乃是同門師兄弟，自己適才卻是沒有往這上面想。
黃藥師上前一步，道：「參寂道長，黃某賤命雖不足一提，但黃某卻十分愛惜。今日你若殺不了我，卻待怎的？」
參寂欺他年少，怒道：「殺你不死，老道聽你憑處置便是！」
黃藥師冷笑道：「好，那請道長自廢武功，焚燬道觀，還俗去吧，免得在此靠施捨過活，玷汙廬山清淨所在！」
參寂發了一聲喊，喝道：「小子休狂！領死吧！」手中長劍擎出，劍花飛舞，眩人眼目。
黃藥師掣出「落英」劍，以自創的劍法與之鬥在一處，那劍式中常夾雜參寥道長的厲害招數。
那參寂大為驚異，叫到：「你怎會黃裳劍法？」
黃藥師心念一動，原來參寥、參寂二人同拜一師，所學劍法同為黃裳劍法，難道那個黃裳就是他們的師父？