倭仁針鋒相對，上奏回覆奕圻："若該王大臣確有把握，認為讓夷人來教中國人算學，必能使學生算學精通，進而將精巧的機器造出來，而且中國的讀書人也絕不會被夷人蠱惑利用，最後必能殲滅那些夷人醜類，那自然是再好不過。如果做不到這些，卻先敗壞了人心，那就不如不開設天文算術課程。"]9
倭仁要奕訴做出一種絕對性質的保證。奕訴不傻，自不會往陷阱裡跳。他在回奏中說："倭仁說的那種把握，臣等不敢保證，只能盡力盡心去做應辦之事、能辦之事。至於成敗利鈍，即便是諸葛亮也無法預料，何況臣等。"然後，他抓住倭仁奏摺中的具體言語展開攻擊："該大學士上次的奏摺中說，天下之大不患無才，要學算術不必師從夷人。那麼，該大學士肯定知道哪裡有超越洋人的算術人才。臣請擇地另設一算術館，由該大學士負責聘請教師，招生授課，以觀其成效。"2。隨後，奕訴取得兩宮太后的支援，以諭旨的形式，命令倭仁向朝廷保舉精於算術的本國人才2\
被難住的倭仁不得不據實上奏，說自己並不認識"精於天文算學之人」，不敢隨便推薦22。奕訴不依不饒，繼續借諭旨命令倭仁須隨時隨地留心訪查，一旦找到精於算術的本國人，須立即保奏23。
論戰結束後，朝廷還下旨給了倭仁一份新工作，要他去總理衙門做"行走"。這大概也是奕訴的主意。據總理衙門大臣成林向美國傳教士丁魅良(wil-iamalexanderparsonsmartin)透露，將那些頑固的反對者引入總理衙門，是奕訴推動改革步伐的一種高明策略：
中國的怪事，最奇怪的莫過於總理衙門吸收新成員的方式；據衙門大臣成林向我解釋，其策略是以內部摩擦避免外部反對。他說：「你知道，由於外來反對，總理衙門的籌劃有時會擱淺。聰明的御史或有勢力的總督向皇帝
進讒言，從而破壞了我們最明智的計劃。這種情況下，恭親王有他自己的辦法來應對困難。他奏請皇帝給他的反對者在衙門中安排位置。親王知道，反對者一旦入了衙門，不久就會發現，他的政策才是應對外國的唯一可行辦法。毛（昶熙）和沈（桂芬）正是這樣進入衙門的。"毛從左副都御史升任吏部尚書，沈從山西巡撫升任大學士和中堂大人。二人都成為恭親王的忠實同僚。24
奕祈的這番用心，倭仁自是不願配合。對高倡"夷夏之防」的他而言，"行走"雖是閒官，辦的卻是夷務。接受總理衙門的職位，即等於接受羞辱。
於是，倭仁以生病為由拒絕了這個職務。25丁題良後來感慨地說："假如他（倭仁）不拒絕接受調職，誰曉得這個老翰林會不會同樣徹底地轉變過來呢？"26
擊退倭仁，並不意味著奕訴取得了勝利。
1867年6月，又有一位患有口吃症的小官員楊廷熙，藉著朝廷因大旱下詔讓群臣提意見的機會，寫了一篇長達五千字的奏摺，猛烈抨擊朝廷不該設立同文館。在送出這份近似於"暴走形態」的奏摺之前，楊廷熙讓家人買了一口棺材，以備後事，
奏摺開篇，將當下的旱災定性為蒼天對朝廷設立同文館的警示。楊廷熙說：自春至夏，一直乾旱無雨，常常陰霾蔽天，連御河的水都幹了，京城裡還出現了瘟疫。本月初十又颳了一場昏天黑地、長達兩個時辰的大風。這種不祥天象，定是因為施政出了問題。京城中街談巷議，都說是設立同文館的緣故，說朝廷向洋人求學，是走上了"師敵忘仇」的歧路。28
楊廷熙不反對派人去學點英文與法文，但他無法接受向外國人學數學與天文。他在奏摺中說，孔孟不重視天文與數學，他們"不言天而言人，不言數而言理"，可謂立意深遠。如今朝廷花巨資請洋人來同文館教天文與數學，我思前想後一個多月，還是想不通。我有十條大不解之處，要與皇帝、兩宮太后及眾大臣說上一說。
第一條大不解：洋人乃不共戴天的仇敵，先皇（咸豐皇帝）就是因為洋人入侵不得不逃往熱河並在那裡去世的。總理衙門以「不知星宿」為恥，卻不以向不共戴天的仇敵求學為恥，這種"忘大恥而務於小恥"的做法，我實在不能
理解。
第二條大不解：天文、數學、方技藝術這些東西，明明是中國最厲害、最先進（歷代之言天文者中國為精，言數學者中國為最，言方技藝術者中國為備）；西學裡那些輪船機器，在"幽深微妙」方面，未必比得過我們的太元、洞極與潛虛。而且「中國為人材淵藪"，不可能找不到超越洋人的天文學者與數學專家（豈無一二知天文、明數學之士足以駕西人而上之者哉？）。朝廷如此這般「自卑尊人、舍中國而師夷狄"，纖尊降貴跑去跟洋人求學，我實在不能理解。
第三條大不解：輪船機器是洋人賴以壓制我們的工具。向他們學輪船機器製造之術，不過是以輪船對抗輪船，以機器對抗機器，這勝不了他們。宋史裡說，水賊楊太擁有"其行如飛"的大船，結果卻被沒船的岳飛剿滅了，"可見輪船、機器不足恃也"。再者說，中國幾千年來沒有輪船機器，疆土也是一代大過一代。本朝康熙時代，不準西洋輪船靠岸，洋人也只能"俯首聽命不敢入內地一步」。最近這些年，大清被洋人各種欺負，全是因為沿海將帥督撫「開門揖盜」，朝中大臣聽風是雨"先存畏憚之心"。不去解決這些問題，只顧著向洋人學如何造輪船造機器，我實在不能理解。
第四條大不解：朝廷上下，到處都是貪汙腐敗與翫忽職守，當務之急應是改革人事，讓政治迴歸清明。如今，「善政未修於上，實學未講於下」，卻大力招人學天文數學，我實在不能理解。
第五條大不解：謀求自強是沒錯。但自強的辦法是皇帝兢兢業業，官員各盡其職。如今卻是宰輔、臺諫、吏部、戶部、兵部、工部全在消極怠工。不解決這些人和這些問題，「徒震驚於外洋機器、輪船"多麼厲害，我實在不能理解。
第六條大不解：科舉出身的讀書人是忠君愛國的骨幹，洋人是我們的世仇。讓讀書人去拜洋人為師，若洋人心懷鬼胎對他們「施以蠱毒、飲以迷藥」，將他們的"忠義之氣」全給消了，那豈非大事不妙？我不能理解。
第七條大不解：洋人既然用機器輪船打敗了我們，「斷不肯以精微奧妙指示於人"，定不會將裡面的真學問傳授給我們。而且，即便我們學到了精髓，也不過是與洋人並駕齊驅，仍無法打敗他們。不想著「天時不如地利、地利不
如人和」的古訓，不想著走別的路去出奇制勝，只知學洋人依樣畫葫蘆，這種做法我實在不能理解。
第八條大不解：讓尊貴的科舉出身的讀書人，去向洋人學天文數學，這些人被洋人汙染之後，再成為公卿大臣與地方督撫，必會與洋人"聯合響應」一起作亂。所以，向洋人學知識這件事，"疆臣行之則可，皇上行之則不可；兵弁少年子弟學之猶可，科甲官員學之斷不可」，李鴻章這些地方官可以做，皇上絕對不能做；地位卑賤計程車兵可以學，科舉出身的讀書人絕對不能學。如今，總理衙門卻誘導皇上去幹這種事，我實在不能理解。
第九條大不解是不滿同文館以優厚的待遇招生，並在學成後提供優越的職位。
第十條大不解是抨擊朝廷不與眾大臣商議，僅憑"總理衙門數人之私見」，就決定了開設同文館這樣的大事，讓國家的「夷夏之防「陷於崩潰瓦解的危境。
最後，楊廷熙還說："同文館」是宋代奸臣蔡京當權時用過的監獄名，「同文館獄"是個專門殘害忠良的地方。所以，必須請皇帝與兩宮太后下旨「收回成命"，廢除同文館這個壞東西。
這十條大不解中，有些是在胡攪蠻纏扣帽子，比如談什麼「大恥」」小恥」。有些是邏輯有問題，比如人事混亂、各機構的消極怠政確屬事實，但這些問題的存在，與同文館開設算學、天文課程是兩碼事；前者沒能解決，不意味著後者就不能去做。有些是見識短淺的虛妄之語，比如完全不懂近代天文學為何物，想當然地將之等同於中國傳統的"星宿學」；再比如完全不懂近代數學為何物，反認定千餘年前關於數學的基礎認知更加"幽深微妙"；再比如他還相信洋人可以通過下蠱、下迷藥來控制人的思想。
但是，無知之外，楊廷熙的焦慮是真實的。他的"頑固」發自肺腑，是超越個人利益的。他是一個完全游離在核心決策層之外的邊緣人物。如果不是清廷因大旱下詔讓天下官員給朝政提意見，他這個小小的"候補直隸知州」未必有機會呈遞這樣一份奏摺。如果不是這份長達五千字的奏摺，他自己也很難在史書中留下半點蹤影。楊廷熙呈遞奏摺時，倭仁與奕訴的辯論早已塵埃落定，同文館也早已陷入舉步維艱之中。為個人前途計，寫這篇五千字的雄文是很蠢
的行為。尤其是這雄文中，還有許多針對當朝權貴的犀利指責。同時代之人歐陽昱在讀了楊廷熙的奏摺後，這樣總結其內容主旨：
痛言兩宮太后過失，不善用人；恭王李相洩洩沓沓，一以和為主。低首犬羊，絕不顧國家大體，罪皆可殺。29
歐陽昱對奏摺的觀感，自然也是兩宮太后和總理衙門眾大臣對奏摺的觀感。所以，在呈遞奏摺之前，楊廷熙先給自己買了一口棺材放在家中。這個真誠的"底層頑固派」發自肺腑地認為：清廷不需要近代數學與近代天文學，清廷讓讀書人向洋人求學是一件大大的壞事。他是一位奮不顧身的無知者。
毋庸置疑，楊廷熙這樣的真誠無知者正是清廷封建制度所產。但時代不同了，恭親王奕訴與兩宮太后都不想再經歷慘痛的"庚申之變"，他們知道清廷需要改革。所以，寫在楊廷熙奏摺上的批覆是"啜敷數千言，甚屬荒謬」3°。