1867年10月22日，即將卸任的美國駐華公使蒲安臣代表美國政府，將一幅美國首任總統華盛頓的畫像，贈予清廷官員徐繼畲。
蒲安臣在贈像儀式上做了熱情洋溢的演講。他先是讚譽徐繼畲以難得的世界眼光撰寫出版了地理專著《瀛寰志略》，感謝他在書中將美國首任總統華盛頓"置於其他一切偉人之首」，並介紹說，正是為了感激這種讚譽，現任美國總統安德魯-約翰遜（andrewjohnson）才特意請藝術家為徐繼畲繪製了一幅華盛頓畫像。最後，蒲安臣安慰徐繼畲，請他不要在意從前那些因開眼看世界而"遭到罷黜」的悲傷歲月，畢竟現在"開明的政府已經把你安置在國家元首身邊（指自1865年起在總理衙門擔任行走）……你已經被委任為一個事業機構的首腦（指自1867年起擔任同文館總管大臣）"\
蒲安臣向徐繼畲贈送華盛頓像，是國際社會對晚清改革的一次正面回應。徐繼畲進入總理衙門並出任同文館總管大臣，則是晚清改革史上的一樁風向標式的事件。正如美國傳教士丁盛良所觀察到的那般：徐的復出是清廷在釋放改革訊號，是一個「好的跡象」2。
《瀛寰志略》遠勝《海國圖志》
今人談及晚清"開眼看世界"的先驅，通常第一個會想到魏源和他的《海國圖志》，而非徐繼畲與他的《瀛寰志略》。
其實，《海國圖志》與《瀛寰志略》這兩本著作，幾乎同時完成於19世紀40年代。前者的成書時間是1842年（50卷本）、1847-1848年（60卷本）、19世紀50年代（100卷本）；後者的初稿完成於1844年，初刻本問世是在1848年。兩書作者魏源與徐繼畲也相當於同齡人，魏源的生卒年是1794—1857年，徐繼
畲的生卒年是1795—1873年，魏只比徐大了一歲。
這兩個同時開眼看世界的同齡人，看到的世界是大不相同的。
比如，魏源接受了「大地如球"的新學說，不再堅持「天圓地方」的傳統認知，《海國圖志》裡也載有來自歐洲的新式半球圖。但他拒絕按新式地圖將地球劃分為歐、亞、美、非、澳五大洲（南北美洲合一，缺南極洲），反援引佛典「考據"稱地球只有四個洲：東勝神洲、西牛賀洲、南贍部洲與北俱廬洲。亞歐非是南贍部洲，美洲是西牛賀洲，東勝神洲與北俱廬洲在北極之海與南極之海，還未被發現。他還論證說，南贍部洲是"四洲之冠」，中國是南贍部洲中最尊貴的"東方人主」，印度是"南方象主"，蒙古是「北方馬主」，西洋是"西方寶主」。他們全都不如「東方人主」尊貴。3這種牽強附會的考據背後，隱約可見一種根深蒂固的文化優越感。
最能體現魏源這種文化優越感的，是《海國圖志》裡的「夷狄"一詞。魏源說，自己編纂此書的目的是"師夷長技以制夷」，而夷人之所長僅在技術層面，文化禮教萬萬不及中國；基於這種理念，他在書中考證認定「西洋教」乃是雜學，其教義最初抄襲的是佛教，後來又抄襲了儒學：
蓋西方之教惟有佛書，歐羅巴人取其意而變幻之，猶未能甚離其本。厥後（利瑪竇等傳教士）既入中國，習見儒書，則因緣假借以文其說，乃漸至蔓衍支離，不可究詰，自以為超出三教上矣。4
此外，他還援引中文世界的各種道聽途說，將來華傳教士的活動描述為以邪術惑人。說教民入教前要吞吃一枚藥丸，日後若洩露邪術，就會排洩出一個「女形寸許、眉目如生」5的東西。又說傳教士會拿小刀挖取教徒的眼睛，用來煉銀：
聞夷市中國鉛百斤，可煎紋銀八斤，其餘九十二斤仍可賣還原價，唯其銀必華人睛點之乃可，西洋人之晴，不濟事也。sup6/sup-
徐繼畲的《瀛寰志略》裡，沒有這麼多基於盲目優越感而產生的偏見。盡
管徐也說過"坤輿大地以中國為主」7這樣的話。但他沒有像魏源那般主動撰寫長文去論證這一點。據徐與友人張穆的通訊，他寫下這種句子的目的，是希望規避一些不必要的現實風險--張穆收到《瀛寰志略》書稿後寫信勸徐，要他將《皇清一統輿地全圖》收進書中且放在卷首，因為這幅地圖以中國為世界中心。張穆告誡徐：千萬不要忘記明代徐光啟、李之藻的歷史教訓，他們當年沒有這樣做，"遂負謗至今」:直到今天仍遭到清帝國知識分子的鄙夷與批判。徐採納了張穆的建議，在卷首放了一張"拱極朝宗"、以中國為世界中心的地圖。
《瀛寰志略》也極少使用"夷」「胡」「狄」這類帶有文化貶損含義的詞。這是徐繼畲不斷修正自身認知後產生的結果。該書的早期手稿《瀛寰考略》裡，原本存在許多「夷」字，如"英吉利」一節2429個字中就有21個「夷」字。經修訂後更名為《瀛寰志略》出版時，英吉利一節增至7620個字，「夷"字卻被全部刪除。徐繼畲有意識地使用了"泰西」"西洋""西國」這類中性詞，來取代晚清知識界慣用的「夷狄"。那時的清帝國官場慣用「夷酋」來稱呼外國來華官員，徐繼畲也有意識地將之改成了「英官」這類中性詞。9
附帶一提，「夷"字在晚清正式被棄用的時間是1858年。中英兩國於該年簽訂《天津條約》，內中第五十一款規定：此後公文言及英國官民時一律「不得提書夷字」1。。這是魏源去世的第二年，《瀛寰志略》出版後的第十年。可見徐繼畲是一個遠遠走在時代前面的人。
與魏源執著於將基督教論證為抄襲佛教與儒教的雜學不同，徐繼畲對基督教沒有太多牴觸情緒。在比較過佛教、基督教與儒學後，徐繼畲說：儒學自然是好東西；佛教「以慈悲為主」也是好東西；那摩西十誡"雖淺近而尚無怪說」，同樣是好東西；西教講神蹟，但"無惡於天下」，主旨是「勸人為善」，與摩西十誡差不多，當然也是好東西。徐受了幾十年的儒學教育，對儒學有很深的文化自信，所以他又說：傳教士來中國「特欲行其教於中華，未免不知分量」，想用基督教取代儒學未免太過不自量力。"簡單概括起來，魏源的文化心態是"你的東西雖好，卻都是從我這裡抄過去的次品"，徐繼畲的文化心態則是"我願意承認你的東西很好，也自信我的東西不錯"。
這種心態，也見於徐繼畲對美國首任總統華盛頓的盛讚。在《瀛寰志略》第九卷《北亞墨利加米利堅合眾國》中，徐繼畲說，華盛頓"不僭位號，不傳子孫，而創為推舉之法"「，實在是偉大，像極了中國傳說中才有的天下為公；他還說，該國「幅員萬里，不設王侯之號，不循世及之規，公器付之公論"，實在是古今未有的制度，很神奇i3。魏源的百卷本《海國圖志》，摘抄轉錄了《瀛寰志略》對美國的介紹，卻刪除了徐稱讚華盛頓這一節。這種刪除或許並非刻意為之，但它至少說明，魏源對徐的這段論述缺乏共鳴。
《海國圖志》與《瀛寰志略》存在這樣的區別，主因大概是魏源與徐繼畲的人生履歷大不相同。
1844年之前，魏源長期給人做幕僚幫辦。1844年，魏源中舉之後，也只做過知縣、知州。他欠缺與洋務的直接接觸，編纂《海國圖志》也主要是在做一種資料彙編類工作。徐繼畲則不然。1843年時，徐已是福建布政使，以朝廷專員的身份負責辦理廈門、福州兩個開放口岸的對外通商事宜。直接負責辦理涉外事務的官員，自然需要了便外部世界究竟是何種模樣，《瀛寰志略》一書正是基於這種需要而蒐集資料撰寫出來的。此外，與魏源埋頭於大量似是而非的中文材料不同，徐繼畲與雅裨理（davidabeel,美國人）、李太郭（geoigetradescantlay,英國人）、阿禮國（時任英國駐福州領事）等來華外國人士有密切交往。徐不斷向他們求教、索取外部世界的資料與資訊，並做交叉求證。當然，這並不是說魏源與外國人士毫無接觸，只不過與徐繼畲相比，他與外部世界的直接接觸實在是太過有限了。sup14/sup
徐繼畲是一個孜孜於獲取外部世界資訊的人。雅裨理在日記中如此描述徐繼畲的這種狀態：
他既不拘束，又很友好，表現得恰如其分。很明顯，他已經獲得了相當多的知識。他了解世界各國狀況的願望，遠比傾聽天國的真理熱切得多。他畫的地圖還不夠準確，他不僅查對經緯度以便標出確切的地理位置，更把目標放在蒐集關於各國的一般性知識上--版圖的大小、政治上的重要性和商務關係，特別是同中國的商務關係。他對英國、美國和法國的考察比對其他國家更為認真仔細。sup15/sup
直接交流無疑會勝過所有的間接聽聞。一個負責具體涉外事務的實幹派官員，基於現實工作需要而展開的資料蒐集與整理，要比文化人在書齋中做的資料彙編更客觀也更理性。這是一件再正常不過的事情。然而也正是這種客觀與理性，給徐繼畲與他的《瀛寰志略》帶來了迥異於魏源與《海國圖志》的命運。
有"死不瞑目"四字念念不能忘
《瀛寰志略》甫一齣版流傳，即遭到時人的非議。
有人從書中摘出"（日耳曼）殆西土王氣之所鍾歟」一句，將"西土」二字略去，攻擊徐繼畲妄稱王氣已不在大清。有人摘出他稱讚華盛頓的言辭，說他"故意不當敘述文，而混為議論，含有贊成之意」，是想要挑戰愛新覺羅的皇權。16一位叫作史策先的御史攻擊道：這本書對於外部世界的風土人情說得很詳細，但「立言多有不得體處」，比如說英吉利是「強大之國"，說四海之內沒有該國艦船無法抵達之處，實在是"張外夷之氣焰，損中國之威靈」。史策先還說，自己「初見此書即擬上章劾之」，第一次讀到就很生氣，想要寫奏章彈劾作者徐繼畲，只是聽聞已有同僚上奏舉報，且徐的書已被勒令毀版才作罷4
《瀛寰志略》最大的不幸，是它完成得太早了。1848年，初刻本問世時，清帝國朝野幾乎找不到徐繼畲的知音。1858年，也就是《瀛寰志略》出版後的第十個年頭，後來的改革先驅曾國藩，在給左宗棠的書信中仍舊批評這本書，說它"頗張大英夷"，長英國人的志氣，滅中國人的威風。那時節的曾國藩對大英帝國仍抱持著一種盲目的輕視，覺得"英夷土固不廣，其來中國者人數無幾」，不但領土不如大清廣闊，人口也遠比大清要少，不過是"欲恃虛聲以懾我上國"18。他覺得徐繼畲的《瀛寰志略》正好助紂為虐，充當了替英夷虛張聲勢的角色。
這些彈劾與非議，嚴重影響了徐繼畲的仕途。'.・
1850年，英國人在福州向僧人租賃房屋，引起士紳反對，發生了後世稱作「神光寺事件」的外交糾紛。徐繼畲時任福建巡撫，已因《瀛寰志略》而聲名
狼藉。此案一齣，遂被一眾官員聯名彈劾。在給兄長的書信中，徐如此描述當日遭遇："初參弟為撫馭無方，繼又參弟為袒護屬員、包庇漢奸……吠影吠聲，轟然交作。」19彈劾引發了道光皇帝震怒，徐被降職以示懲戒。咸豐皇帝上臺後又追查歷史問題，將徐徹底罷職。1852年底，徐繼畲回到老家山西，以鄉紳身份幫辦地方團練。1856年，徐重操舊業在平遙書院做起了塾師，靠著每年約600兩銀子的束脩收入維持全家八口人的生計。徐自我調侃稱自己為官多年卻