一路上，嚴漏秤都走得極快，直覺著身子似乎輕暢了許多，甚而忍不住想哼個歌謠，恍然間如同活回了十七八歲的年紀。
其實，十七歲時他已成婚兩年，早已是個謹重成人。妻子是父母相看說定，也是個大富之家的女兒，養教得極有禮數，從來不輕易言笑。成親之後，兩人真正相敬如賓。即便偶有爭執，也最多不過三兩句，便各自走開。如同一雙鞋子，雖時時成雙成對、同行同止，卻始終隔著一線。就算夜裡行房事，也都默不作聲，手腳從不亂動，大氣都不敢出。他曾聽人說「床笫之歡」這個詞，始終有些納悶，這個「歡」字從何說來？
許多富戶都要納妾，他妻子卻連生了五個兒子，他並沒有納妾之由。至於那些煙花柳巷，他則從來都極為嫌惡，甚而有些怕懼，覺得那是糞窟一般，從沒動念要去那等地方。活了四十年，唯有這個茶肆婦人，讓他頭一回心跳個不住。
不過，回到家後，看到滿院家人僕從，個個眼裡都是敬服，他又暗暗悔怕起來。這等心思自然不是道德君子所當有，何況自己身為一家之主，常日里嚴誡子弟行止要端，自己卻生出這等邪淫之念。何況，自己對那婦人一無所知，稍一不慎，恐怕便會身陷汙淖，毀壞名節……他猶豫再三，終還是強斷掉了這個念頭。
然而，秋後有一天，他帶著僕從莊客，運糧絹去縣裡繳了稅。返回途中碰見了王豪，邀他去吃酒。王豪的桃花宴年年都邀嚴漏秤，他因不喜那等奢狂，從來不去，只派自己弟弟去應付，王豪因此始終有些不快。嚴漏秤不好再拂了王豪盛情，便讓僕從先回，自己和王豪一起去縣裡酒樓。王豪性情疏闊，和他其實並無多少話可言，唯有頻頻勸酒，吃得他大醉。酒散之後，暮色已臨，王豪要安排僕從送他，他擺手拒絕，自己慢步回去。走了一陣，一抬眼，不知為何，竟走到了那婦人的茶肆門前。
那婦人正在門邊那張桌上收拾茶具，扭頭見是他，也吃了一驚。見他吃醉，忙過來扶住，讓他進去吃碗醒酒湯。他被那溫軟身臂貼緊，再扭頭看婦人那張臉，秀媚無比。他頓時一陣暈漲，渾然忘了一切，進到茶鋪中一把便抱緊了婦人。婦人慌忙掙扎，說外頭往來都是人。他拽著婦人急走到後院，緊摟住她肩臂，連攬帶推，大步奔到後邊那房門前，一把掀開簾子，見裡頭只有一張圓桌，牆邊一排鬥櫃，不見床鋪。他無暇再尋，一把將婦人抱在懷中，伸手便去扯她衣衫。婦人掙扎了一番，便沒了氣力。他越發得計，剝去婦人羅衫，將她按倒在圓桌上……
等他醒來，已是第二天清晨，發覺自己躺在一張舊床上，碧紗床帳、青綢薄被也都半舊。而那婦人則躺在他身邊，睡得正熟。髮髻散落枕邊，烏瀑一般，襯得那張臉越發淨秀。他先驚了一跳，隨即憶起昨夜之事，頓時愧怕之極，忙坐起身，才發覺全身竟赤裸著，越發愧赧。扭頭見自己衣裳全都在床邊一張椅子上，忙過去急急穿起來。這時婦人也醒了，含著笑嬌問：「你要走嗎？還早呢。」他不敢答言，只「嗯」了一聲，從袋裡摸出一錠小銀，放到旁邊小桌上，埋著頭，開了門，急急逃了出去。到了外間，開啟那茶鋪的門，左右不見行人，他才略鬆了口氣，快步出巷，往家裡趕去。一路上他都沮喪之極，四十年勤恪，毀於一醉。
然而，只過了幾天，他又念起那婦人難言難畫之媚，再回想那夜種種癲狂溫存，平生所有歡喜彙集一處，也難及那夜之歡。他強忍了數天，終難抵敵，還是藉故偷偷去了縣裡，走進那條靜巷，來到婦人門前。
婦人見了他，頓時冷下臉，裝作沒見，轉身便進去了。他忙跟了過去，跟到後院，婦人停住腳，他忙低聲說：「那天倉促離開，是我不對。不過，我也有我之難處，我是生平頭一回做出這等事。」婦人頓時哭起來：「難道我便是天天做這等事？我雖賠笑迎客，不過是假意奉承，賺些茶錢，哪裡就輕易捨身了？我是早聽得你是個至誠君子，見了你的人，用心驗過，才動了心腸。除了我死掉的丈夫和你，我若再與第三個男人沾染過，便叫我立刻生瘡化膿，爛死在你面前！」他一聽，再受不得，一把將婦人抱緊在懷中，眼睛一熱，不由得也落下淚來。
自那以後，他每隔幾天便要去會那婦人，言談得多了，才漸漸發覺這婦人不但容貌好，稟性也難得。她雖愛錢，卻不貪，更不強索。嚴漏秤有意試她，給的多了，婦人固然歡喜，給的少，甚而不給，婦人也並不計較。問她，她說：「我靠過丈夫，卻靠死了他。自他死後，我便立下誓，再不靠任何人。我又不缺手缺腳，有這間茶肆，到老也能養得活自家。我若貪你的錢，便得不著你的心。我若貪一個名分，便會逼走你的人。即便你答應娶我為妾，我也受不得你家大門大戶那些規矩。錢和心，我要心；名和情，我要情。我要的兩樣都得了，已是足了。」
嚴漏秤對她由迷生愛，由愛生敬，越來越離不得她。卻萬萬沒有料到，她竟會那般離開自己。
那年初夏，嚴漏秤家桃園裡桃子熟了，他聽那婦人說最愛吃桃子，便親自去選摘了十來個最好的蜜桃，用布袋子裝著，送去給那婦人。婦人見了，極歡喜，忙去洗了，兩個人坐在葡萄架下吃。嚴漏秤平生從沒講過笑話，那天不知怎麼，極想逗婦人笑，便講了一個聽來的笑話。婦人正在吮吸一顆剛吃淨的桃核，一聽，頓時大笑起來，那桃核猛地滑進了喉嚨，婦人頓時張大了嘴，卻始終吐不出來。驚得嚴漏秤忙跳起來，過去抱住她，卻不知該如何是好，只能胡拍亂捶。婦人掙扎抽搐了半晌，竟倒在他懷裡，再不動彈。
嚴漏秤又驚又痛，慌搖了半天，婦人卻始終一動不動。嚴漏秤頓時哭了起來，正哭著，一個人走了進來。嚴漏秤抬頭一看，是莫褲子。莫褲子滿臉驚怕，連聲問發生了什麼。嚴漏秤忙拭去淚水，哽咽著講出原委。莫褲子聽了，眼中猶疑閃爍。他猛然怕起來，婦人死得這麼離奇怪異，說出去恐怕沒人能信。他忙要把手伸進婦人喉嚨去掏那桃核，莫褲子忽然勸止：「莫要動！莫要動！你若這時掏出來，官府查問時，便沒了證據。」
一聽到官府二字，嚴漏秤越發怕起來，這事恐怕必得經官，如此一來，這事自然會傳開，人人便知我與這婦人的情事，我這名聲……
莫褲子竟看破了他的心意，忽然笑著說：「我倒能替嚴員外擋住這醜事，不過，這頂著兇罪風險，少說也得五百兩銀子。」
他聽了，忙說：「莫兄弟，錢我給！」
「成。眼下你得趕緊走，等你走了我再去報官。不過走之前，你得立個字據。」
他忙去屋裡尋筆墨紙硯，那婦人不識字，並沒有備這些。莫褲子跟了進來，從妝臺上尋見婦人畫眉的一枚螺子黛，又找來一張包藥的草紙，便讓嚴漏秤拿那螺子黛蘸著水，在草紙上寫下遮掩此事、償銀五百兩的字據，隨後讓他趕緊離開。
嚴漏秤出去後，見婦人躺在地下，心裡一酸，又要流淚，卻只能忍痛快步離開，趕回了家裡。
第二天，縣裡便傳來訊息，鄉人們紛紛笑傳一個茶肆婦人竟被桃核卡死。嚴漏秤聽見，心裡一陣陣痛，卻不敢流露。只得偷偷備好銀兩，等莫褲子來取。然而，莫褲子一直未來，過了十幾天，竟傳來他的死訊。嚴漏秤雖然大鬆一口氣，想起那婦人，心中卻始終隱隱作痛。
過了幾年，他才漸漸忘懷，重新做起嚴家家主、有德君子。直到去年，自感年老體衰，便將掌家之任交託給了長子，每日只靜養天年。
王豪桃花宴又來相約，他想自己謹嚴約束了一生，總該鬆緩鬆緩，便答應去赴宴。原本極有興頭，去了卻猛然見到莫褲子復活現身，他驚得幾乎站不穩。莫褲子來給他敬酒，笑指著自己懷前說：「如今該稱您嚴老員外了。老員外想必還記得當年那紙字據？」
他聽了，老臉頓時漲紅，忙低聲說：「那年我備下銀兩，一直在等你。」
「當年三石糧，如今一石都不值，那個數也該漲漲了。」莫褲子笑著丟下這句，轉身便去和其他人談笑。
嚴漏秤驚在那裡，銀子哪怕多給五倍也不怕，但看莫褲子那神情，恐怕不會一次罷手。他不由得苦嘆，自己臨老了，一生聲名竟要葬送在這浪蕩人手裡。他驚魂尚未定，莫褲子竟忽又死了，死在茅廁裡。望著莫褲子屍首，嚴漏秤心裡不住地感念阿彌陀佛。
他沒有料到，一驚才了，一驚又起。王豪死後，他去弔唁，王小槐竟偷偷告訴他，莫褲子的屍首埋在界石底下，懷裡揣著那張字據。
那界石一旦搬動，屍首和字據必定會被發覺，到那時，自己這樁醜事必定四處傳揚……他寧死也不願受這嘲辱。回到家後，他焦悶了一天，天快黑時，他再坐不住，瞞住家人，悄悄叫了兩個家生的僕役，拿著鎬鍬，偷偷出門，顧不得天暗路崎，一起趕往界石。到了那裡，卻發覺另幾家豪富已在那裡。彼此見了，個個都有些尷尬。姓裘的那個打破難堪，先開口言道：「我猜各位恐怕和我一個心思，莫褲子知道這界石的隱事，恐怕也已告訴了那新任知縣。這幾天縣裡正在四處查尋莫褲子下落，這界石再不能輕動。若被兩邊縣裡察覺，追究起來，咱們恐怕都得獲罪破產。我帶了兩個人來，是要看住這界石，我想諸位恐怕也是為此？」那幾個豪富紛紛點頭，嚴漏秤哪裡敢說自己是來挖屍，忙也跟著點頭。於是他們一家出兩個莊客，一起守住了這界石。
後來，姓裘的又提議，一起出錢殺了王小槐，他又點頭贊同。然而王小槐死後幾天，他家院子裡清早落下許多栗子，到處紛傳還魂鬧鬼之事。他驚得渾身發顫，聽說三槐王家請了相絕陸青來驅祟，他忙也趕了過去。
陸青見了他，靜靜注視了片刻，目光似探似責，令他心中發慌。陸青說了一段解卦之語：「此卦屬家人。由心而身，由身而家。或交相愛，或交相縛。愛易舍而縛難解，熱易涼而恨難消……」他聽了，一陣感惻。陸青最後又教了他一句話，讓他心中更是湧蕩難寧：
「唯見眼前恨，誰記當年情？」