他沿著院牆之外的長道慢慢行走過去。行不多遠，便見到偏門。偏門也是緊閉，卻聽得一些院內的嬉鬧之聲。柳生站立一會，又走動起來。
不久來到後門外，後門敞著，與十多年前一般敞著，只是不見家人走出。柳生從後門進得後花園。只見水閣涼亭，樓臺小榭，假山石屏，甚是精緻。中間兩口池塘，均一半被荷葉所遮，兩池相連處有一拱小橋。橋上是一涼亭，池旁也有一涼亭，兩側是兩棵極大的楓樹。後花園的佈置與十多年前稍有不同，然而楓樹卻正是十多年前所見的楓樹。楓樹幾經災難，卻是容貌如故。再看涼亭，亭內建瓷墩四個，有石屏立於後。屏後是翠竹數百杆，翠竹後面是硃紅的欄杆，欄杆後面花卉無數。有盛開的桃花、杏花、梨花，有不曾盛開的海棠、蘭、菊花。
柳生止住腳步，抬頭仰視，居然又見繡樓，再環顧左右，居然與他首次赴京一模一樣。繡樓窗戶四敞，風從那邊吹來，穿樓而過，來到柳生跟前。柳生嗅得一陣陣襲人的香氣，不由飄飄然起來，沉浸到與小姐繡樓相會的美景中去。全然不覺這是往事，彷彿正在進行之中。
柳生覺得小姐的吟哦之聲就將飄拂而來。這麼想著，果然聽得那奇妙的聲音從視窗飄飄而出。又四散開去，然後如細雨一般紛紛揚揚降落下來。那聲音點點滴滴如珠璣落盤，細細長長如水流潺潺。仔細分辨，才聽出並非吟哦之聲，而是瑤琴之音。然而這瑤琴之音竟與小姐的吟哦之聲毫無二致。柳生凝神細聽，不知不覺匯入進去。十多年間的曲折已經化為煙塵消去，柳生再度佇立繡樓之下，似乎是首次經歷這良辰美景。雖然他依稀推斷出接下去所要出現的情形，可這並未將他喚醒，他已將昔日與今的經歷合二為一。
柳生思量著丫環該在視窗出現時，一個丫環模樣的女子果然出現在視窗，她怒目圓睜，說道：
"快些離去。"
柳生不由微微一笑，眼前的情景正是意料之中。丫環嚷了一聲後，也就離開了視窗。柳生知道片刻後，她將再次怒目圓睜地出現在視窗。
瑤琴之音並未斷去，故而小姐的吟哦之聲仍在繼續。那聲音時而悠揚，時而遲緩。小姐莫非正被相思所累？
丫環又來到視窗：
"還不離去？"
柳生仍是微微一笑，柳生的笑容使丫環不敢在窗前久立。
丫環離去後，瑤琴之音戛然而止。然後柳生聽得繡樓裡走動的聲響，重一點的聲響該是丫環的，而輕一點的必是小姐在走動。
柳生覺得暮色開始沉重起來，也許片刻功夫黑夜就將覆蓋下來，雨也將來到。雨一旦沙沙來到，樓上的窗戶就會關閉，燭光將透過窗紙漏出幾點絲來，在一片風雨之中，那窗戶會重新開啟，小姐將和丫環雙雙出現在視窗。然後有一根繩子扭動而下，於是柳生攀繩而上，在繡樓裡與小姐相會。小姐朝外屋走去時像一條白色的魚兒一般嫵媚。不久之後，小姐又來到柳生身旁，倆人執手相看，千言萬語卻化為一片無聲無息。後來柳生又攀繩而下，離去繡樓，踏上大道。數月後柳生落榜歸來，再來此處，卻又是一片斷井頹垣。
斷井頹垣的突然出現，使柳生一陣驚慌。正是此刻，繡樓上一盆涼水朝柳生劈頭蓋腦而來，柳生才驀然驚醒。環顧四周，陽光明媚，方知剛才的情景只是白日一夢。而那一盆涼水十分真實，柳生渾身滴水，再看繡樓視窗，並無人影，卻聽得裡面竊竊私笑聲。少頃，那丫環來到視窗，怒喝：
"再不離去，可要去喚人來了。"
剛才的美景化成一股白煙消去，柳生不禁惆悵起來。繡樓依舊，可小姐易人。他嘆息一聲轉身離去。走到院外，再度環顧這深宅大院，才知此非昔日的深宅大院。行走間，柳生從包袱裡取出當初小姐臨別所贈的一縷黑髮，仔細端詳，小姐生前的許多好處便歷歷在目。柳生不覺淚流而下。