索額圖在三藩問題上沒有與康熙保持一致態度可以說是其重大失誤。康熙曾不止一次說，「朕自少時以三藩勢焰曰熾，不可不撤。」「朕以三藩俱握兵柄，恐日久滋蔓，釀成不測，故決意回。」為了表明解決三藩問題的決心，年少的康熙將三藩及河務、漕運三大事書寫在宮中石柱上自勵。索額圖作為康熙近臣，又是其多年的追隨者，對皇帝心跡當了如指掌。但康熙十二年(西元1673年)，皇帝借尚可喜因年老請求歸置遼東之際下決心撤藩之時，索額圖卻表示反對。在廷議中，兵部尚書明珠以及戶部尚書米思翰、刑部尚書莫洛等都贊成康熙的態度，請求撤藩，但索額圖卻站出來反對說，吳三桂、耿精忠上書請撤藩，是試探皇帝旨意，並非真心實意想撤。當前情勢下，撤藩勢必引發激變，索額圖大聲疾呼：「請誅倡盲諸臣，以謝三桂。」
這是歷史激變的時刻。在三藩問題上，朝廷中有些人嚇得驚慌失措。所謂「諸臣中有一聞變，便遣妻子回原籍者，」但究其實，這是索額圖和明珠的仕途對決。明珠和索額圖一樣，也是康熙朝最重要的大臣之一。他在順治時初任侍衛，康熙三年升為內務府總管大臣，「掌內務政令，供御諸職，靡所不綜」，成為宮廷事務的最高長官。康熙五年（西元1666年），任內弘文院學士，參與國政。康熙七年（西元1668年），任刑部尚書。康熙九年，改任都察院左都御史。康熙十年，調為兵部尚書。應該說和索額圖一樣，明珠也是個火箭式幹部。兩人走到康熙十二年(西元1673年)的時間節點上，誰若想再進一層，只能押寶在三藩問題上。
但索額圖到底不明白，他一開始就輸了。撤三藩其實不是朝廷的能力問題，而是做臣子的態度問題。因為撤三藩若引發戰爭，朝廷勝了，索額圖沒有半點好處；朝廷若敗了，康熙也不會懲罰明珠等人，否則，就是打自己的嘴巴了。所以在這個問題上能不能與最高領袖保持一致，是索額圖能否在仕途上繼續走下去的關鍵。儘管他大聲疾呼要「請誅倡盲諸臣」，康熙卻還是態度堅決：「欲遷徙吳三桂者朕之意也，他人何涉?」《康熙起居注》隨後記載說，索額圖聞此言，「甚懼而退。」
不過索額圖很快就明白了自己的政治立場有問題，並且快速進行補救。康熙執意撤藩後，吳三桂、耿精忠等三藩一如索額圖所料相繼叛亂了，天下形勢岌岌可危。索額圖此時不僅沒有幸災樂禍，反而憂國憂民，積極出謀劃策，幫皇帝出主意。《嘯亭雜錄》記載說：「索（額圖）相當權時，多謀略，三逆叛時，公料理軍書，排程將帥，皆中肯要。」正是因為索額圖將功補過，康熙才沒有在三藩之亂平定後繼續追究他的問題，儘管他也逞口舌之快，說：「吳逆倡亂，有謂撤藩所致，請誅建議之人者，朕若從之，皆含冤泉壤矣」，但說歸說，對索額圖的信任康熙還是沒有改變。比如他因病不能御門聽政時，就下旨「啟奏本章俱送大學士索額圖等」，以示尊重。
只是歷史多看點。接下來，朋黨之爭讓索額圖的仕途再陷困境。朋黨之爭在索額圖和明珠之間展開。明珠因主張撤藩有功，康熙十六年，被授為武英殿大學士，入閣辦事。明珠是皇長子胤褆的舅舅，便在幕後幫助胤褆拉攏大學士餘國柱等重臣，從而成為「長子黨」的核心人物。而孝誠仁皇后在康熙十三年生太子允礽，索額圖由此成為太子外叔祖父，他與明珠兩人同為皇親國戚，同柄朝政，各結黨羽，從而給康熙增添新的煩惱。康熙十六年（西元1677年）七月二十九，康熙在乾清門召見索額圖，對他意味深長地說：「人臣服官，惟當一意奉公。如若分立門戶，私植黨羽，始則蠹國害政，終必禍及身家。歷觀前代，莫不皆然。」這是嚴重的口頭警告了。對於這樣的口頭警告，索額圖其實是存在僥倖心理的。畢竟他是太子外叔祖父，皇帝要動他，有投鼠忌器的心理在。
索額圖一如既往地自恃尊貴，與內閣學士兼禮部侍郎李光地結盟，與明珠死磕。明珠則「輕財好施，以招來新進，異己者以陰謀諂之，與徐乾學相結。」徐乾學時為日講起居注官，是朋黨之爭中的知名人物。由此索額圖和明珠的朋黨之爭動靜越來越大，導致兩年之後康熙不得不再次出手。康熙十八年（西元1679年）七月二十八，京師發生強烈地震。刑部尚書魏象樞上疏彈劾大學士索額圖、明珠各立私黨，攬權貪縱，陷害異己等罪狀，言詞激烈，聲淚俱下。第二天，康熙御書「節制謹度」賜索額圖。箇中意味不言自明。康熙稱「爾等（索額圖和明珠）自被任以來，家資頗已饒裕……今見所行，愈加貪黷，習以為常」，康熙並指「吳三桂之亂，索額圖時參謀議，從未發一善策」，並警告「國法俱在，決不寬貸」。
索額圖也知趣，在閉門思過了差不多一年後，於翌年(康熙十九年)八月，以病請求解任。索額圖這一招其實是投石問路。覺得自己閉門思過了這麼長時間，皇帝的心氣也該消了，以病請求解任，目的還在於康熙能夠挽留自己，以便在仕途之路上繼續走下去，走得更好。但康熙的態度卻很令人費解。他一方面優旨褒稱索額圖：「卿輔弼重臣，勤敏練達，自用兵以來，翼贊籌畫，克合機宜。」另一方面命其在內大臣處上朝。仕途達人索額圖明白，皇帝到底還是疏遠了他。隨後，由於索額圖在處理自己兩個弟弟的問題上，又有徇私之嫌，導致康熙二十二年，皇帝痛下決心，徹底處理索額圖。這年三月，康熙指責索額圖有三大罪：其一，索額圖之弟心裕素行懶惰，屢次空班，皇帝交給索額圖議處，索額圖從輕處置，只罰俸一年。其二，索額圖之弟法保懶惰，被革去內大臣職務，隨旗行走，但仍不思效力贖罪，在外校射為樂，索額圖未能儘教訓之責。其三，索額圖自恃鉅富，日益驕縱。康熙並且認為「索額圖鉅富，通國莫及。朕以其驕縱，時加戒飭，並不悛改，在朝諸大臣，無不懼之者。」命嚴加議處。議處的結果是革索額圖議政大臣、內大臣、太子太傅之職，不過仍任佐領。
這一年索額圖四十七歲，可以說跌入了宦海生涯的最低點。由於康熙對其用語嚴厲，處置堅決，沒有人看好他還能東山再起。但誰都沒想到，這個男人會在三年後的知天命之年東山再起，任領侍衛內大臣，再次笑傲權力江湖。
毫無疑問，仕途的玄妙之處在索額圖身上得到了充分體現。