與前兩次罷官不同，海瑞這一回似乎很少得到同情。
道理很簡單：上兩次海瑞反對的是個人（胡宗憲、鄢懋卿或者嘉靖皇帝），這一回他反對的是整個官場。這個強勁的對手不論由誰出面來和海瑞對抗，都有兩個堅強的後盾：一是根深蒂固、積重難返的官場傳統，二是盤根錯節、人數眾多的文官集團。海瑞卻只有一個人。他的武器，只不過是些空洞的道德信條，早就被人束之高閣，或視為粉飾。他的資本，也只是靠不怕死掙來的名聲，一旦得罪了全體官僚，也就變得一文不值。所以，海瑞向整個官場發起的進攻，就只能是以卵擊石，不碰得頭破血流才是怪事！
顯然，海瑞同整個官場是格格不入的。這使得他在第三次鬥爭中極為孤立，就連過去大力支援他的人和享有聲譽清名的人都站到了他的敵對方面。那麼，海瑞為什麼會是這樣一個人，他又為什麼要同整個官場過不去呢？
看來，我們還必須從頭說起。
海瑞，字汝賢，一字國開，自號剛峰，正德九年（西元1514年）十二月生於海南，祖籍卻是福建。海瑞的曾祖父海答兒，洪武年間從廣州從軍到海南，就在瓊山縣左所落了籍。有學者認為海答兒可能是少數民族，甚至可能是外國人。因為元代好幾個海答兒，都是回族，而波斯十四世紀的一個地方長官，也叫海答兒。不管怎麼說，海這個姓和答兒這個名，都有些怪異。海瑞身上這有些怪異的脾氣，不知和他特殊的遺傳因素有沒有關係。
海瑞的童年貧窮而不幸。父親海翰在他四歲時即已去世，留下母親謝氏（時年二十八歲）和他孤兒寡母兩人相依為命，靠著幾畝薄田和謝氏做些針線女紅維持生計。他的生存環境很差，海南歷來就是我們帝國天荒地遠的邊鄙，瓊山也是一個窮困的縣份。文人墨客望而生畏談虎色變，歷代皇帝則把它看作流放犯人以示懲罰的好地方。唐代宰相李德裕和宋代的四位宰相或副宰相李綱、趙鼎、李光和胡銓就曾被流放到這裡，此外還有鼎鼎大名的蘇東坡。儘管這個流放地和他們的流放生活被某散文作家寫得詩情畫意，但我想沒有哪個昏君和姦臣會有如此好心，竟給他們的政敵安排一個養老的好去處。海瑞童年的生存環境一定是荒涼、貧窮而乏味，同時也很閉塞的。沒有京都的恢宏氣勢，市井的繁華景象，古城的人文薈萃，水鄉的悠長韻味。因此海瑞身上，也沒有與之對應的東西，比方說，沒有一個高階官員應有的雍容華貴，似乎也沒有什麼靈秀之氣和人情味兒，反倒顯得有些吝嗇、瑣屑和小氣。他的政敵攻擊他「不識大體」，倒並非誣衊不實之詞。因為他曾規定下屬只有先交上一張謄正的公文，才能在他那裡再領一張空白的公文紙。
海瑞的家庭生活也很不幸。中國人心目中最不幸的三件事：幼年喪父，中年喪妻，晚年喪子，他都有份。他曾結過三次婚，又有兩個小妾。前兩位夫人都因與婆母不和而被休去，其中第二位夫人過門才剛剛一個月。第三位夫人則在他五十五歲時可疑地死去。第三位夫人和一位小妾先後生過三個兒子，但都不幸夭折。不孝有三，斷後為大，何況海瑞還是獨子，就更是不幸之至了。
如此算下來，同海瑞一起生活時間最長的人，大約就是他的母親謝老夫人。謝氏是一個堅強的女人，在極其困難的條件下把海瑞撫養成人，可謂嘔心瀝血，甘苦備嘗。她既是慈母，又是嚴父，曾向海瑞口授經書，後來為他擇師也謹慎而嚴格。海瑞對母親，既感謝又孝順，在南平、淳安、興國和蘇州時，都把母親接到任上一起生活。母親對他的影響也極深。史家多以為海瑞的善良、忠誠、剛毅和正直，就有他母親的影子。
不過年輕時守寡帶大兒子的老太太，心理上多少會有些問題，與兒媳的關係也不容易搞好；而一個家庭生活不幸的人，人際關係也往往緊張。史料證明，海瑞的家庭糾紛，不僅已成為政敵攻擊的口實，也為時論所不滿，謂其「篤於行誼，薄於閨閣」。其實這八字評語是海瑞祭文中的話，已經很客氣了，政敵們嘴裡說的肯定要難聽得多。中國人是十分看重家庭生活的。家倫理也就是國倫理。人們相信，一個孝敬父母的人也一定能忠於國君（所以海瑞的忠誠無人懷疑），而一個夫妻關係不好的人也一定很難與同僚和睦相處（這是海瑞遭受攻擊最多之處）。許多中國人都認為，正如一個不會品嚐食物滋味的人也一定沒有藝術鑑賞力，一個沒有男女之情的人也一定不通人情。因此海瑞的政敵們都以幸災樂禍的口吻談論他家庭關係的緊張，並以此作為他不好合作的一個證據。
海瑞的童年生活既如此單調，家庭生活又那樣不幸，則他唯一的樂趣就只有工作。只有瘋狂的工作才能填補他心靈的缺憾。海瑞確實是個工作狂。只要是他任內的事，都會不遺餘力地去做，而不憚其細碎煩瑣。他任應天巡撫時，依例每月初二、十六兩日放告，每次受理案件竟達三四千之多，還不包括平日受理的人命、強盜和貪汙案。其他職分事無鉅細，也往往躬親，幾無休息之日。這種作風，與當時文恬武嬉的官場風氣自然格格不入。誰也不願意和這樣一個古板、認真、不講情面，只知瘋狂工作而不通人情世故的人共事，更不願意讓他真的被樹為官僚的楷模，因為誰也做不到他那樣。
但是海瑞卻能做到。
海瑞是一個有思想的人。在他看來，人生的追求無非義與利。如果追求利，可以為農，為工，為商。農工商原本是興利之事，求利無可厚非。唯獨為士做官不可求利，只能是為國盡忠，為民辦事。因為士的追求是義。世界上之所以有士農工商的區分，就因為有義利之別。義高於利，所以士高於農工商。一個士人如果也去追名逐利，那就不夠資格當一個士，也不夠資格當君子了。因此，一個做了官的君子，只能利國、利民、利公，決不能利私。這當然很崇高，很偉大，很值得敬佩和敬仰。但如果以此作為對所有官員之普遍和基本的要求，則既不現實，也未必正確。
首先我們得承認，士也好，官也好，都是人，都要生存，也都想過好日子。這就是利，也是私，而這種私利無可指責。所以，一個人，如果能做到大公無私，公而忘私，固然是君子，是高尚的人。甚至只要能做到公私兼顧，人己兩利，或謀私也奉公、利己不損人，就不能算是壞人。我們無妨將人分為五個品類：一、大公無私，專門利人；二、先公後私，先人後己；三、公私兼顧，人己兩利；四、謀私也奉公，利己不損人；五、損公肥私，損人利己。其中第一類是聖人，第二類是君子，第三類是好人，第四類是不壞的人，只有第五類是壞人。聖人極少，君子和壞人也不多，最多的是中間層次大體還好和不好不壞的人。他們不是君子也不是小人，無妨說是常人。
常人之情也就是人之常情，其中就包括改變處境、提高地位、增加財富等等。因此即使一般的好人，也難免弄些小權術，耍點小心眼，做點小動作，打些小算盤。當然，依照道德上所謂量變質變原理，小權術也可能變成大詭計，小心眼也可能變成大陰謀，小動作也可能變成大罪惡，小算盤也可能變成大野心，尤其當這個人掌握了一定的權力時，就更是如此。這是不能不防範的，但只能靠體制和法度來防範和制約，包括限制權力、懲治腐敗、高薪養廉等等。因為趨利避害是人之常情。你不能要求所有人都捨生忘死、克己奉公、捨己利人，只能因勢利導，從趨利避害的人之常情出發，曉之以利害，繩之以刑法，讓他覺得貪汙受賄、以權謀私是一種會導致自己傾家蕩產、身敗名裂的可怕行為，至少是不合算的買賣；還要讓他即便想冒天下之大不韙，或對營私舞弊心存僥倖，也無從下手。這就只能靠制度，不能靠道德。
道德永遠都是必需的。人之為人，就在於有道德。沒有道德，人就會變成獸；只有道德，人就會變成神。人不能變成獸，也變不成神。所以人不能沒有道德，也不能只講道德。真正高尚的道德只是一種理想境界。這種境界很值得追求，也應該追求，但總有求之不得和追之不及的時候，也總有達不到這個境界的人，而且人數還不少。因此所謂道德高尚，必須提倡也只能提倡，不能苛求也無法苛求。既然無法苛求每個人都道德高尚，那麼，社會和政治生活中的不道德行為和犯罪行為，就不能指望依靠道德風尚的提倡來消除，只能靠制度和法律來防範。我們通常說「反腐倡廉」，就是充分意識到廉潔要靠道德來提倡，腐敗卻只能靠法制來剷除。
法制和道德其實是一種相輔相成的關係。法制是防範性的，道德是倡導性的。法制規定不準做什麼，或不準怎麼做；道德則要求人們應該做什麼，或應該怎麼做。這兩樣東西，缺一不可，因為它們的分工不同。比如出現了火災，道德告訴我們應該去救火，法制卻只規定不準縱火。不救火的人並不犯法，也未必不道德，因為他不救火的原因可能有很多，包括並無此種能力等等。只有那些有此能力卻見死不救的才不道德，只有那些見死不救還要幸災樂禍的才缺德，也只有那些趁火打劫的才犯罪。可見，道德與法不可相互替代，也不可隨意濫用。只有道德沒有法，則故意縱火和趁火打劫就無法受到懲罰；只有法律沒有道德，則幸災樂禍就無由受到譴責，見義勇為也不能得到提倡。
然而儒家的學說卻只看到道德的作用，完全忽視了法律的意義。孔子說：「道之以政，齊之以刑，民免而無恥。道之以德，齊之以禮，有恥且格。」這意思是說，以法治國，頂多只能保證人們不敢犯罪（民免），卻不能保證人們不想犯罪（無恥）。以德治國，以禮治國，才能保證人們不想犯罪（有恥），而且想做好人（格）。這話並非沒有道理，卻過於理想化了。道德教育確實能起到這樣的作用（一個有道德的人不會去犯罪），但無法保證這種教育一定是行之有效的，即無法保證每個人都有道德。因此德治也好，禮治也好，都無法防範罪惡的發生。
歷代帝王中稍有頭腦的人都明白這個道理。他們的對策，是既用儒家道德來提倡，也用法家制度來防範。所以歷朝歷代，也都有刑律和法典，而且實行起來都很恐怖，比如凌遲、腰斬等等。明代的開國皇帝朱元璋當然也不例外。他也制定和出臺了一系列反腐倡廉的法令和舉措。但這些法令和舉措，乃是建立在空洞的道德理念和社會理想基礎之上的。既不盡合情理，也難予以實行。比如官吏的薪俸都很低，吏的薪給更是微薄，甚至不足供家大口闊者維持生計。這就不但談不上「高薪養廉」，簡直就是「逼良為娼」了。因為要求所有官員都像海瑞那樣自己種菜，母親生日才買兩斤肉，顯然極不現實。其結果必然是官吏勾結，上下其手，或損公肥私，或魚肉百姓。又比如規定一應官員非經批准不準出城，就很可笑。這固然防止了擾民，卻也割斷了官民之間的聯絡，使官僚主義更為嚴重，實在是得不償失。再比如規定凡貪贓在八十貫以上的官員都要處以剝皮實草（剝下人皮，肚子裡塞草）的極刑，也很荒唐。八十貫錢何其少也，剝皮實草又何其之重，二者放在一起，根本不成比例，只能讓人徒生荒誕之感。如果當真實行起來，則全國的官員，恐怕殺得就會只剩下一個海瑞。一項法令如果一開始就並不具備實施的可能，那就沒有人會把它當回事。洪武朝的這些法令，在海瑞時代的情況就是如此：人們早就把它們忘得一乾二淨了。
然而海瑞卻很認真。