說罷，商人速速結清了店錢，逃也似的離店而去。
次日晚間，又有一位旅客投宿於店中。到了深夜，店主再度被住客叫醒，聽他所抱怨的，與前晚如出一轍。並且奇怪的是，這位客人著實滴酒未沾。
店主尋思：肯定是有人嫉恨他開張大喜，為了破壞旅店的生意，特地想出的卑鄙伎倆。遂拔高嗓門，毫不客氣地回道：「為了侍奉客官您滿意，本店已經盡心盡力。饒是如此，您卻說出如此可惡的不吉之語。您明知小店是我一家賴以餬口的生計，竟能口出這般汙衊之詞，著實可恨！」
客人聞言，也不禁火冒三丈，隨即嚴詞反擊，把話說得愈發難聽。兩人都怒氣沖天，吵得不可開交，終於忿忿而散。
客人離去後，店主愈琢磨，愈覺得事有蹊蹺。他來到二樓的空房，仔細翻檢那床被褥。不大會兒，就聽見裡面傳來了童語之聲。店主這才明白，原來兩位客人所言句句不虛。
會講話的，只是上面的一張棉被。剩下褥墊之類的，都悄無聲息。主人便將被子抱回自己房中，蓋著它入眠，於是一整晚，他都未能安睡，就聽被中兩個聲音問答不休：「哥哥，你冷嗎？」「你呢？你冷不冷？」嘁嘁喳喳，直至天明。
翌日清早，店主一起身，便前往當初買下被褥的那間舊貨店，去找老闆問個究竟。誰知老闆卻道：「我也不曉得，那床被子是我從一家更小的鋪子收購來的。」
旅店的主人又跑去向小鋪打聽。一問之下，原來被褥購自於住在這條街很遠之外的某位窮苦小生意人手中。
旅店主人繼續挨家尋訪，一一探聽。最後，終於查出棉被是某個貧苦人家的舊物。那家人住在郊野的一間小屋裡。至於棉被的來歷，則是這樣的—
被子的原主人窮困潦倒，雖說所住的小屋每月僅需六十錢租金，但對貧寒人家來說，卻是相當大的一筆花銷。男主人每月只有兩三元的收入，妻子則體弱多病，無法幹活。夫婦倆育有兩個男孩，一個六歲，一個八歲。一家子並非鳥取本地人，而是外鄉來的流浪者。
某年冬日，孩子的父親生了重病，臥床不起，才不過一週工夫便嚥了氣。未過多久，長年罹病的母親也隨之撒手而去，只撇下了兩個孩子，孤苦伶仃，舉目無親，連個出手相救的人也沒有。為了活命，年幼的兄弟倆典當了家中一切，凡尚能換點錢的東西，全都拿去變賣，以微薄的所得，換取食物果腹，稍稍捱過飢苦。
可雖說是變賣物品，充其量也不過只有亡父亡母與自己的幾身舊衣、幾床棉被、三兩件粗陋的碗盤、取暖的火盆，外加一些零碎的雜物而已。孩子們每日典當一點，最後，除了一張舊棉被，終於家徒四壁，再無任何可以換錢的東西。
無食充飢的日子來臨了。房租亦未交。某個凜冽的大寒天氣裡，屋外積雪如山，兄弟倆無法出門，只能蜷縮在那床僅剩的棉被之中，瑟瑟發抖，相互慰藉。
「哥哥，你冷嗎？」
「你呢？你冷不冷？」
屋中未曾生火，連根柴火也沒有。終於，太陽落山了，四周陷入一片漆黑。寒風厲如冰刀，嗚嗚狂嘯著，不停灌進破漏的小屋之中。
寒風固然可怖，但更讓兩個孩子提心吊膽的，還是那上門討租的房東。他惡狠狠將兄弟倆揪出棉被，厲聲怒喝道：「趕緊給我交租！」
此人面目可憎，內心冷酷，當確定兄弟倆交不起房租後，便將他們攆至屋外的雪地裡，奪走了僅有的那床棉被，鎖上屋門，揚長而去。
漆黑的雪夜中，孩子們身上僅穿著一件單衣，而其他的衣裳，為了換取食物，早已全部典當。兄弟倆走投無路，雖說不遠處有座觀音堂可以避寒，但因積雪過深，兩人實在走不過去，見房東已經遠去，便偷偷溜回了屋後。嚴寒疲倦中，他們很快感到睏意襲來，為了取暖，便彼此緊緊擁抱著，沉沉睡去。
睡夢中，神仙為孩子們蓋上了一床嶄新的棉被，它潔白美麗，為世間所罕有。兄弟倆再也不為嚴寒所苦，永遠地恬睡過去。後來，有位好心人發現了死去的孩子，便在千手觀音堂的墓地中，為二人修築了一座永遠的墓床，讓兄弟倆從此長眠於其內。
旅店的主人聽完這個悲慘的故事，不勝唏噓，便將那床會說話的棉被捐給了觀音堂，請廟中的和尚為兩個小小亡靈念佛誦經，安撫超度。自那以後，棉被就緘口不語，再也沒有說過話。