在索額圖接下來的仕途中，他不是一個人在行走。與他始終糾結而行的那個人不是別人，正是明珠。康熙二十七年，明珠大學士的職務被革去，他的追隨者餘國柱、科爾坤、佛倫等也被革職。但兩年之後，在征戰噶爾丹的戰鬥中，明珠又被啟用，參贊軍務；康熙三十五年、三十六年，在康熙本人兩次親征噶爾丹，明珠隨軍督運糧餉，並且因功官復原職。這其實是康熙的機心之所在。對明珠打而不死，以此牽制索額圖的銳器。因為索額圖復出之後，特別是看到明珠在康熙二十七年被革去大學士的職務後，以為從此權柄獨掌，行事做派愈加張揚。如在制定太子儀制的時候，索額圖授意太子的衣物一律使用黃色，並將其規格大大抬高——百官需對其朝賀，行二跪六叩禮。索額圖甚至規定出巡時，地方官在朝見皇帝后，還要朝見皇太子，並向皇太子進獻禮物等。雖然康熙皇帝大為不悅地說：「太子所用的儀仗等物，太為過制，與朕所用相同」。但索額圖對此話充耳不聞。他的追隨者也唯其馬首是瞻。禮部尚書沙穆哈為了討好允礽，認為皇太子的拜褥應像皇帝一樣，要放置在殿門內，康熙堅持要放在殿門外。爭執未果，沙穆哈建議康熙把這條諭旨記入檔案，留給後人一觀。其險惡用心，可以說不言自明；另外，內務府所屬的一些不知天高地厚的低階官員私自到跑到皇太子處竊竊私語，也讓康熙皇帝心生警覺——這背後一定有一個推手存在。正是為了保持對索額圖的高壓姿態，康熙才重新啟用明珠。只是索額圖對這一層機心並不明瞭，一味在危險的道路上狂奔不已。
康熙三十五年（西元1696年），發生在親征噶爾丹戰場上的一件事讓皇帝對索額圖多了一些厭惡。當時隨軍的索額圖聽信噶爾丹散佈的謠言，以為會有六萬俄羅斯軍隊前來增援噶爾丹，為了自身安全，他緊急建議康熙所在的中路軍脫身而回，任由大將費揚古、孫思克所率的西路軍孤軍作戰。結果康熙迴鑾後，傳說中的六萬俄羅斯軍隊並沒有前來增援噶爾丹，只留下西路軍血戰迎敵——皇帝的退兵之舉因此成了一個笑話、一場恥辱。提及此事，康熙激憤得淚流滿面，稱：「朕一意前進，以剿滅噶爾丹為念。不知索額圖等視朕為何如人也！今朕失約即返，則西路之兵不可問矣！」因此，索額圖在他心目中的重要性驟減。
康熙四十年(西元1701年)九月，聖眷不再的索額圖藉口年老乞休，並很快得到批准。但此公的悲劇在於退而不休，繼續成為太子黨的核心人物。在他身邊，阿迷達、麻爾圖、額庫裡、溫待、邵甘、佟寶等一批老且懷怨之人為其吶喊助威。康熙在當時對這個情況應該說是掌握的。因為在索額圖事敗後，他就公開稱，「溫待、額庫禮，俱犯重罪流徙之人，因其年老，令回京師。伊等應安靜以養餘年。伊乃與索額圖結黨，妄論國事，妄自犯尤」從這一點可以看出，在皇帝眼中，索額圖就是太子黨的核心人物。更要命的是太子允礽的變化讓他憂心忡忡。他不僅毆打平郡王納爾蘇、貝勒海善、公普奇等高官，後來竟然發展到在康熙面前也敢辱罵大臣，儼然以皇帝自居了。康熙窮根究底，對索額圖愈加不滿了。
康熙四十一年(西元1702年)的德州事件成為索額圖仕途乃至人生的最後拐點。這一年十月，皇太子允礽在隨駕康熙南巡時病倒。至德州，病重不能行。康熙意味深長地從京師召來索額圖，令他在德州陪侍允礽。這實際上是一種暗中觀察，看看索額圖和太子間究竟有沒有密謀。一般來說，作為仕途中人，是很忌諱和敏感人士單獨接觸的。索額圖此時應該避嫌，儘量減少與太子接觸，韜光養晦以自保。但遺憾的是，他並沒有這樣做。相反地，索額圖行事高調，乘馬至太子住所中門方下（論法此行為當是死罪），但允礽卻不以為意。甚至在德州，太子所用之物都是黃色，規格也差不多與皇帝同——索額圖不明白，皇帝此時正派人密查他——誠如康熙後來所的說「朕皆訪知」，他的被抓，至此只是時間問題。
康熙四十二年五月，索額圖被康熙派出的侍衛海青所抓，在五月十八日頒發的上諭中，康熙措辭嚴厲地稱：「觀索額圖，並無退悔之意，背後怨尤，議論國事，伊之黨內，朕皆訪知……伊等結黨議論國事，威嚇眾人。且索額圖施威恐嚇，舉國之人，盡懼索額圖乎……伊等之黨，俱屬利口，愚昧無知之徒，被伊等恐嚇，遂極畏懼。果至可殺之時，索額圖能殺人或被人殺俱未可料，雖口稱殺人，被殺者誰乎？至於索額圖之黨，漢官亦多，朕若盡指出，俱至族滅。」康熙這樣的上諭，可以說句句置人於死地。索額圖這一回也的確在劫難逃了。他先是被交宗人府拘禁，隨後在七月初被處死，兩個兒子格爾芬、阿爾吉善也相繼被處死。索額圖同黨多被殺、拘禁或流放，其同祖子孫皆被革職。一個始榮終敗的故事至此落下幃幕。