許敬宗倒沒有這麼惡劣，也並非不學無術。唐太宗李世民還是秦王的時候，他就進了文學館，和杜如晦、房玄齡、孔穎達、虞世南等人同為十八學士，成為李世民的政治顧問，資格是很老的。他學識淵博，文采出眾，著作等身，曾總修《五代史》《晉書》，是個歷史學家。不過此人的人品和史德都不怎麼樣。他的父親在隋末江都兵變時被害，他貪生怕死，不敢營救。封德彝把這事說了出去，他又忌恨封德彝，在給封德彝作傳時，添油加醋，「盛加其罪惡」。其他人如果給他送禮行賄，他也不吝吹捧粉飾之詞。學問做到這個程度，實在應該算是道德敗壞了。
不過，武則天和李治此刻還顧不上這麼多道德的考慮。對於他們來說，最重要的是建立自己的隊伍，集結自己的人馬，而無論這些人是君子，還是小人。
李義府之流的得勢，和褚遂良等人的被貶正成鮮明對照。人們開始認識到，得罪武則天，就是得罪皇上，甚至可能比得罪皇上還糟糕，決沒有好果子吃。相反，投靠武則天，就是站在皇上一邊，肯定青雲直上。於是，一些猶疑不決持觀望態度的人認清了形勢，一些原先受排擠受壓制的下層官吏和寒門士人看到了希望，一些原本就見風使舵善於鑽營的小人更是有了可乘之機。武則天的旗幟下開始集結人馬，她的隊伍壯大了起來。
但，她也因此獲得了一個罵名：親信小人，重用匪類。
武則天並不喜歡小人。沒有人會喜歡小人，連小人都不喜歡小人。可是，正人君子們都不和她合作，她又有什麼辦法呢？再說，反對她的那些人，也不見得十分乾淨，也做過虧心缺德事吧？褚遂良誣陷過劉洎，長孫無忌陷害過李恪。他們的手下，也有不少是小人。大哥二哥麻子哥，大家臉上差不多。既然如此，就不能再談道德問題，只能靠政治態度來劃線了。
不過，武則天重用許敬宗、李義府之流，並不完全是為了酬勞他們的擁立之功，也不完全是因為無人可用，還在於她深知小人有小人的用處。在專制政治體制下，小人從來就是陰謀家、野心家、獨裁者最稱手的工具。亂世要靠他們興風作浪（他們最擅長造謠告密），治世要靠他們粉飾太平（他們最擅長拍馬吹牛）。尤其是搞宮廷鬥爭時，小人更是有不可替代的作用。那些正人君子不肯、不敢、不屑去做的事，都可以放心地交給小人去做，而且包管有令人滿意的結果。何況小人用起來比君子更順手。小人沒有道德觀念，好收買；沒有個人意志，好指揮；沒有社會基礎，不怕他們翹尾巴；沒有自身價值，沒用時扔了也不可惜。所以，歷朝歷代的帝王，都既用君子，又用小人。君子的作用是伸張正義，樹立楷模；小人的作用是製造恐怖，實施陰謀。君子是領頭羊，小人是看門狗。君子務虛，小人務實。有君子做榜樣做楷模，人們自覺忠君；有小人做耳目做打手，大家不敢謀反。一個高明的君主，是一定兩種人都要用的，就像大棒和胡蘿蔔缺一不可一樣。武則天在她執政的後期，就大量起用正人君子，如狄仁傑。但現在還不行。她還得依靠小人，為她殺出一條血路來。
小人的作用無非四種：幫忙、幫閒、幫腔、幫兇。李義府沒多少能耐，只能幫腔；許敬宗滿腹經綸，便可以幫兇。顯慶四年（西元659年），洛陽人李奉節狀告太子洗馬（為太子掌管書籍的侍從官）韋季方和監察御史李巢兩人朋比為奸，圖謀不軌，李治派許敬宗審理此案。許敬宗想到了當年長孫無忌利用房遺愛謀反案誣陷李恪的事，如法炮製，捏造了長孫無忌謀反的供詞。李治不敢相信，許敬宗說證據確鑿。李治傷心地哭著說：我家太不幸了，親戚中總是有人居心不良。前幾年高陽公主和房遺愛謀反，現在舅舅又是這樣，真叫朕羞見天下人。許敬宗煽動說：房遺愛乳臭未乾，高陽公主是個女子，他們謀反，能成什麼氣候？長孫無忌可就非同小可。他幫先帝奪取了天下，天下人都佩服他的智謀；他當宰相三十年，天下人都懼怕他的權威。陛下還記得宇文述嗎？臣可是親眼看到過隋煬帝對他們一家的親愛信任。那可真是權寵無倫，勢傾朝野，言聽計從，不分彼此。結果怎麼樣呢？煬帝還不是被宇文述的兒子殺了？前車之鑑，陛下該不會忘記吧？
李治當然不會忘記。這事太宗皇帝曾多次對他說過：隋煬帝死於非命，就因為對宇文父子太寵幸、太信任了。於是李治又流著眼淚說：就算元舅真的這樣，朕也不忍殺他。殺了元舅，叫天下人怎麼看朕，後代人怎麼看朕啊！許敬宗這時又再次發揮他歷史學家的作用了。許敬宗說：漢文帝的母舅薄昭因殺人獲罪，文帝命百官往哭，含淚把他處死，至今人稱聖明。長孫無忌的罪大得多，陛下有何不忍？古人云：當斷不斷，反受其亂。陛下如果姑息養奸，將來變亂生於肘腋，只怕後悔莫及。
李治完全被這個博學多才的歷史學家所說服。他不再過問長孫無忌的案子，全都交給許敬宗去辦理，甚至沒有差人把長孫無忌召來核實一下。四月二十二日，長孫無忌的官爵封邑被剝奪，貶往黔州。牽連到此案的柳奭、韓瑗被除名，于志寧被免官。七月，許敬宗趁李治下令重審此案之機，派中書舍人袁公輸前往黔州，逼長孫無忌招供反狀並自縊。接著，與此案有關的官員，或貶，或殺，或充軍，或除名。可憐長孫無忌一代英豪，兩朝元老，三十年相國，數十載經營，權勢熏天，盤根錯節，卻只因許敬宗搖唇鼓舌，血口噴人，便一朝傾覆，土崩瓦解，整個集團被連根拔掉。誰說舌頭不能殺人？
我們現在已無法得知，武則天在此案中扮演的是什麼角色。但可以肯定，她是拍手稱快的。就連李治的角色也很曖昧。表面上看，他是受了許敬宗的矇蔽，稀裡糊塗地殺了舅舅，而且一直於心不忍。但沒有他的首肯、預設、縱容，許敬宗能有那麼大的狗膽，又下得了那麼重的毒手？也許，李治也好，武則天也好，都沒給許敬宗什麼指示或暗示，一切都是許敬宗自作聰明地投其所好。這其實也正是小人的本事。他們總是能知道主子想要什麼想幹什麼，然後主動把主子想幹又不便明說的事辦好。這同時也是小人的可憐之處：他們不但必須幫主子幹壞事，還必須幫主子背罪名。
看著政敵們人仰馬翻，許敬宗笑了，武則天笑了，李治，大概也笑了。
不過，李治很快就笑不起來。他發現，除掉了長孫無忌集團後，權力好像並沒有回到自己手上。他這個皇帝當得還是不開心。
有一件事情對他刺激很大。這件事是武則天的那個走狗李義府引起的。李義府這個傢伙，仗著自己是武則天的親信死黨，又掌握著選官之權，便公然賣官鬻爵，為非作歹，連家人也橫行不法，弄得民怨沸騰。李治看他鬧得太不像話，便把他叫來，語氣溫和地對他說：愛卿的兒子女婿都不太謹慎，多有不法之事。朕倒是可以幫愛卿掩飾掩飾，不過愛卿也該教訓一下他們才是。誰知李義府勃然變色，脖子腮幫都漲得通紅，青筋暴起，壓低了聲音一字一句地反問李治：這是誰對陛下說的？李治心想：這難道是臣子在對皇上說話嗎？他強壓怒火，說：只要朕說的是事實，何必問朕是從哪裡聽來的呢？
這事讓李治很是惱火：李義府這個狗仗人勢的王八蛋，居然連朕都不放在眼裡，簡直可殺！但，打狗還得看主人。一想到這條狗的主人，李治便不免有些洩氣。他對他那位皇后娘娘，是越來越看不懂摸不透了。他對他自己這個皇帝該怎麼當，也越來越弄不清搞不明瞭。過去，面對長孫無忌、褚遂良他們，他感到有壓力。現在，換了李義府、許敬宗等人，他又覺得受愚弄。過去他覺得江山不是他的，是長孫無忌的。現在，他又覺得這江山仍然不是他的，是武則天的。李治覺得很窩囊。
窩囊的李治進行了三次努力。麟德元年（西元664年）十二月，他一時興起，決定廢掉武后。可惜詔書墨跡未乾，就被武則天發現，計劃也就隨之流產，還搭進去宰相上官儀的一條性命。十一年後，上元二年（西元675年）三月，他打算徹底退位讓權，由武則天獨掌國政，或者乾脆把皇帝讓給武則天去做，自己圖個清靜，安享晚年算了。他的胡思亂想遭到宰相郝處俊的堅決反對，說這種想法既不敬天（天道陰陽豈可顛倒），又不法祖（祖宗基業豈可送人），甚為不當。他又想禪位於太子李弘，這倒是可以的，然而李弘卻在這年四月突然死去，死因十分可疑。李治發現自己的任何努力都徒勞無益。他就像一隻肥囊囊的大尾巴羊，一旦當了皇帝，就和陷入狼群沒有兩樣。之所以沒被吃掉，是因為所有的狼都盯著這唯一的羊，而且狼們還需要留著他這顆羊頭，以便販賣他們的狗肉。李治完全沒有辦法從這狼群中突圍，他只能順其自然，當一天皇帝坐一天朝。
何況李治的健康也越來越差。在他登極十一年、武則天冊立為皇后五年後，即顯慶五年（西元660年），李治得了風眩病，目不能視，部分政務只好交給皇后處理。龍朔二年（西元662年），又患風痺；咸亨四年（西元673年），患瘧疾。總之李治的後半生，大體上是在病痛中度過的。他實在已管不了許多。
然而武則天卻越活越年輕，越幹越紅火。顯慶五年李治生病以後，她就開始參預朝政，並表現出她的政治天才。麟德元年，廢后陰謀破產後，她開始垂簾聽政，與李治平起平坐，並稱「二聖」。乾封元年（西元666年），她和李治同往泰山，首開皇后參與封禪大典的先例。上元元年（西元674年），她改稱「天后」（李治則稱「天皇」），已非一般皇后可同日而語。同年，她又釋出改革政治的十二條施政綱領，實際上已成為大唐王朝的核心人物和政治領袖。因此，當弘道元年（西元683年）李治病逝（終年五十六歲）時，她幾乎沒費多少氣力就輕而易舉地接管了政權。
武則天在李治死後接管大唐政權，應該說並不奇怪。從西元655年冊封，到683年李治去世，武則天當了二十八年皇后。這二十八年，她可沒有閒著，也沒有虛度。她一直活躍在大唐的政治舞臺上，而且一直在洗牌。洗一回，贏一把。在武則天當皇后的頭十年（西元655年至664年）裡，主政的基本上是李治。李治日日臨朝，武則天臨朝大體上只是偶一為之。中間十年的「二聖時期」（西元664年至674年），李治和武則天同時臨朝。進入「天后時期」（西元674年至683年）以後，武則天便日日臨朝，李治臨朝反倒是偶一為之了。李治和武則天的位置，正好掉了一個個兒。
武則天能走到這一步，完全因為她的深謀遠慮。她要求參加封禪，人們以為這不過是一個女人的愛出風頭，沒想到這是在造輿論。她上書談論改革，人們以為這不過是一個女人的心血來潮，沒想到這是在講政治。她提出要召集文學之士來宮中修撰史籍，也沒引起什麼特別的注意。李治甚至抱著一種無所謂的態度，放手讓武則天去抓這件「無關緊要」的事。儘管武則天特地提到了太宗皇帝的三句名言「以銅為鏡，可以正衣冠；以古為鏡，可以知興替；以人為鏡，可以明得失」，大家還是沒想到這事與當前政治有什麼關係。他們想不到一個女人會有那麼大的政治興趣和政治野心。直到那些為武則天編撰書籍的「北門學士」sup/sup終於有一天出現在殿堂之上，對朝廷的輿論和決策起著舉足輕重的作用時，人們才恍然大悟：原來武則天不但要研究歷史，還要改寫歷史；不但要為自己組織一個寫作班子，還要為自己組織一個顧問班子和行政班子。天后娘娘並不是吃飽了飯沒事做。
有如此之多政治上、思想上、組織上、輿論上的準備，武則天距離帝位其實已只有一步之遙。
唐高宗永徽三年（西元652年），高陽公主及駙馬房遺愛、薛萬徹、柴令武等人謀反，陰謀廢去高宗，另立荊王李元景為帝。此事與吳王李恪並無關係。長孫無忌因為曾經反對立李恪為太子，害怕李恪報復。為了去掉這塊心病，便誣陷李恪插手，並親自提審案犯，動用酷刑，鍛鍊成獄。李恪被賜自盡。
武則天特別批准，可以不經過百官辦公的南衙，直接從北門進宮。北門是皇宮後門，乃皇家重地，只有皇帝、后妃、太子、王公才可出入。因此這些可以「走後門」的學士便被稱為「北門學士」。