當然，李鴻藻不肯說，自有人肯說，不久，張，王二人蒙皇帝「特達之知」的來歷，傳播人口，已不成其為秘密。有跟張英麟、王慶祺熟識的，直言相詢，張英麟覺得頗為受窘，而王慶祺卻不在乎，笑笑不答。
由於兩人的想法不同，所以張英麟一到弘德殿，便覺侷促不安，特別是看見徐桐那副道貌儼然，總是瞟著眼看他和王慶祺的樣子，更如芒刺在背，迫不得已，只好常常告病假。
王慶祺則當差當得很起勁，對李鴻藻和徐桐，坦然執後輩之禮，而遇到侍讀時，卻當仁不讓。他是代替翁同龢的一部分職司，為皇帝課詩文，每次入值，總有些題外之話，形跡相當親密，使得徐桐既妒且羨，就越發沒有好臉嘴給王慶祺看了。
「稗官說部，雖小道亦有可觀焉！」皇帝有一天跟王慶祺說，「採風問俗，亦宜瀏覽。不知道有什麼好的沒有？」
「是！」王慶祺答道，「容臣到琉璃廠訪查回奏。」
「好！」皇帝又叮囑一句：「明天就要回話，有話你跟他們說好了。」他們是指小李及乾清宮的總管太監張得喜等人。
王慶祺名為「師傅」，其實已成佞臣，因而已無法保持翰林的清望，與皇帝左右的太監常有交往。當時體會得皇帝的意思，是覓幾部談風花雪月的小說，交給太監轉呈。於是便又到琉璃廠去溜了一趟，買了一部《花月痕》、一部《品花寶鑑》，等小李來討回話時，隨手帶了進去。
皇帝如獲至寶，當天就看到深夜，還不肯釋手。第二天起，得晚了，誤了「書房」，索性又看，看到七點鐘，才看奏摺，第一個就是文祥銷假請聖安的摺子，心裡便有些嘀咕，怕這天軍機見面時，他有一番令人不入耳的話要說。
正在發愣，小李用銀盤託進一根「綠頭籤」來，是內務府大臣明善請見。皇帝便問：「他有什麼事？」
「聽說是為雙鶴齋的工程。」
雙鶴齋限期一個月內修好，是皇帝在十天以前所下的手諭，明善為此有所奏請，不能不見，點點頭說：「叫他來吧！」
這一召見，使得皇帝大不痛快。明善奏報京內外報效園工的款子，一共才得十四萬八千兩，而雙鵝齋雖是小修，亦需二十萬兩銀子。因為限期趕修，特向戶部商量借款，那知戶部一口拒絕，有了「難處」，所以來面奏取旨。
「當初你們是怎麼說來的？」皇帝厲聲詰責，「如今左一個‘有難處’，右一個‘有難處’，教我怎麼辦？」
「不是奴才敢於推諉，實在是大家不肯同心協力，奴才幾個商量，總要皇上有一道切實的上諭，事情才會順利。」明善又說：「至於雙鶴齋的工程，奴才那怕傾家蕩產，也要上報鴻恩，趕在皇上萬壽之前先修出來。」
因為有後面這段輸誠效忠的話，皇帝的氣平了些，想了想說：「你先下去！等我看看再說。」
等明善退下，就到了御養心殿接見軍機的時刻。對文祥自然有一番慰問，文祥久病衰弱，說不動話，只說：「奴才有個摺子，請皇上鑑納。」
他的奏摺，當天下午就遞了進來，是文祥的親筆：「上年十月間，奴才在奉天恭讀邸抄，‘修理圓明園’諭旨，仰見我皇上奉養兩宮太后，曲盡孝思，無微不至。奴才雖知此舉工程浩大，難以有成，惟業經明降諭旨，自不容立時中止。而中外臣民皆以當茲時勢，不宜興此巨工，眾論譁然，至今未息。伏查御史德泰，前曾奏請加賦修理圓明園工程，當經恭親王及奴才等與內務府大臣會議後，於召對時蒙兩宮皇太后聖明洞鑑，以及加賦斷不可行，即捐輸亦萬難有濟，是以未經舉行。天下臣民，恭讀諭旨，莫不同聲稱頌；茲當皇上親政之初，忽有修理圓明園之舉，不獨中外輿論以為與當年諭旨，迥不相符，即奴才亦以為此事終難有成也！蓋用兵多年，各省款項支絀，現在被兵省分，善後事宜及西路巨餉，皆取給於捐輸抽釐，而釐捐兩項，已無不蒐括殆盡，園工需用浩繁，何從籌此鉅款？即使設法捐輸，所得亦必無幾，且恐徒傷國體而無濟於事也。」
讀到這裡，下面是兩句什麼話，不用看也就知道了。皇帝嘆口氣，把文祥的奏摺一丟，站起身來，往外走去，殿廷高敞，而在他的感覺中，沉悶得令人透不過氣來，幾乎不可片刻居了。
後院中月色溶溶，從梨花、玉蘭之間，流瀉在地，映出濃濃淡淡的一片暗陰，春夜的風味如酒，皇帝靜靜地領略了一番，忽然想到瑜嬪。正想開口，只聽交泰殿的大鐘響了起來，緩重寬宏的鐘聲，共是九下，宮門早已下鑰，而且召幸瑜嬪得要皇后鈐印，輾轉周折，過於費事，不由得意興闌珊，嘆口氣仍舊回到東暖閣。
「萬歲爺歇著吧！」小李這樣勸說。對於皇帝的百無聊賴的情狀，他自然看得很清楚，心裡也很難過，只是想不出可以為皇帝遣愁破悶的方法。
這一夜皇帝依然是看小說消磨長夜。文祥的奏摺，留中不批，明善的面奏，自然亦無下文。這樣等了兩天，才由太監口中傳出話去，要皇帝向軍機面諭，或者降旨明定由戶部設法撥款興修圓明園，是決不可能的事，因為皇帝已經很清楚，說了也無用，無非徒惹一場閒氣！