當然，端方私人也收藏了好些精槧，加以江南士林的稱頌，真是做了件名利雙收的好事。
這件好事，張之洞也早就想做了。他在光緒二十九年進京修學制時，便有創設京師圖書館之議，後來因為回任鄂督而終止。內調入京，以大學士管學部，舊事重提，一直在規劃，首先看中了熱河文津閣所藏，唯一完整的一部四庫全書，此外避暑山莊各殿所置的書籍亦不少，加上內閣大庫的藏書，亦可以粗具規模了。但總覺得以首善之區的圖書館，應該是系四海觀聽的學術淵蔽，如果庋藏不如民間私人之精且富，未免說不過去。及至陸氏藏書，舶載而東，張之洞的想法與端方不約而同，正宜趁此時機將私家藏書，價購歸公。端方近水樓臺，先取得了八千卷樓所藏，張之洞能打主意的，就只剩下三處了。
一處是山東聊城楊氏的海源閣。一提到此，有人拿了本《老殘遊記》給他看，上面有作者劉鶚寫的一首詩：「滄葦遵王士禮居，藝芸精舍四家書；一齊歸入東昌府，深鎖嫏嬛飽蠹魚。」再看「遊記」中的描寫，心便冷了。
《老殘遊記》中有一段，記他在東昌府向書房掌櫃打聽海源閣，書房掌櫃回答他說：「柳家是俺們這兒第一個大人家，怎麼不知道呢？只是這柳小惠柳大人早已去世，他們少爺叫柳鳳儀。聽說他家書多得很，都是用大板箱裝著，只怕有好幾百箱子呢，堆在個大樓上，永遠沒有人去問它。」老殘「又住了兩天，方知柳家書確係關鎖在大箱子裡，不但外人見不著，就是他族中人亦不能得見。」悶悶不樂，所以題了上面那一首詩。
所說的柳家巷就是楊家，柳小惠實為楊紹和，而柳鳳儀則為楊鳳阿。楊紹和之父以增，亦非漕運總督，而是河南總督，宦囊所入，大部分用來買書。清初季滄葦、錢遵王，以及道光年間黃丕烈「士禮居」、汪士鍾「藝芸精舍」四家藏書，大都歸於楊以增，特建「海源閣」庋藏。
楊紹和能繼父業，機會亦很好，辛酉政變怡親王載垣賜自盡，府中流出來的書很多，潘祖寅、翁同龢與張佩倫的岳父朱學勤，幾乎無日不在琉璃廠搜覓，但精秘之本，卻多為楊紹和所得。
張之洞也聽說過，楊氏父子對藏書頗為珍秘，當今名士中只有膠州柯紹忞、蘇州江標曾經登閣涉獵，但楊紹和已經下世，或者楊鳳阿願意出讓藏書亦未可知。再一打聽，方知無望。願來楊鳳阿是個任性而乖僻的絝袴，他的笑話很多。臂如不會騎馬而愛駿馬，曾花二百兩銀子，買一匹名駒，看善騎的僕人得意馳騁以為樂。他是舉人，捐了內閣中書在京當差，日常無事，喜歡請客，有一天買到四隻官窯瓷碗，自更要請客鑑賞。及至入席，便用這些名碟供饌，週而復始，不下十餘次之多，他有個同鄉便開玩笑，說：「此碗未免偏勞」。因此京城裡遇到偏勞之事，稱為「楊鳳阿的碗」。又有一次，年下手頭緊又拿一串奇南香朝珠，命聽差去變賣，一時找不到買主，楊鳳阿一氣，說是「不要了！」將那串價值千金的朝珠，送了給聽差。是這樣毫不在乎的脾氣，除非等米下鍋，不會賣書。
再有個原因是，江標對海源閣的珍藏，由羨生妬，在一篇題跋中說：「昔之連車而北者，安知不擁載而南？」意思是說如果他發了大財，一樣也能將楊以增從江南買去的書，再買回江南。楊鳳阿看到這篇文章，大為惱怒，從此重門深鎖，拒客更甚。是這樣一種寧飽蠹魚，勿失手澤的殉書態度，當然打不上什麼主意了。
至於寧波天一閣的藏書，自明朝嘉靖年間，至今三百年，世守不失，由於範氏子孫自律的禁例甚嚴，閣門及書櫥的鑰匙，分房掌管，非各房子孫齊集不開鎖，閣中藏書不準下樓梯，亦不曬書，用芸葉、石英保持乾燥。子孫無故開門入閣，罰不與祭一次；私領親友入閣及擅開書櫥，罰不與祭一年；擅自將書借出，罰不與祭三年，如果盜賣書籍，逐出宗祠。
這樣，剩下來唯一可商量的，只有常熟的鐵琴銅劍樓了。為此，張之洞親自寫信給端方，諄諄相托。這就不但是義不容辭，而且志在必得了！因為袁世凱被逐，奕劻勢力漸弱，端方頗有岌岌之感，張之洞即令與童貴不甚投機，畢竟是三朝元老，廟堂之上，頗受優禮。若說要保全一個人，只要肯出死力相爭，攝政王亦不能不做讓步。端方在想，能將這件事辦成了，不但可顯他做督撫的本事，而且必蒙張之洞激賞，結一個有力的奧援，正是他今天所最需要的。
端方為人似雅而俗，而且俗不可耐。雅事俗辦無非威脅利誘，不過這趟他卻辦對了，主要找對了一個人。
本來端方門下，專有一個替他經理金石碑板、書籍字畫的清客，名叫楊惺吾。此人眼力甚高，精通目錄學，端方的收藏，大部分有他的題跋。但物以類聚，有巧取豪奪的居停，便有詭譎奸詐的門客。楊惺吾的品行甚壞，作偽的本事亦很大。端方心想，如果請他到常熟去談判，人家一看就怕了，敬鬼神而遠之，一定談不攏。
因此，端方找的是常熟的名士曾樸，字孟樸，是世家子弟，會試不第，進北京同文館讀書，專攻法文，但跟一般學洋務的人不同，不願以精通外文作為獵取好差使的手段，而迷上了法國文學。又寫過一部轟動一時的《孽海花》，所以在江南提到曾孟樸，知道的人極多。