蘇軾在杭州工作四年後，於元祐八年（西元1091年）三月離任，回京師開封報到。這個時候他差不多得了仕途恐懼症。作為例證，是蘇軾在回京師開封的路上得知洛黨分子賈易升任侍御使之後，避免其打擊報復，竟然七次上書太皇太后請求讓自己留在地方工作，以避禍於黨爭。但黨爭還是不請自來了。同年八月初二，賈易和御使中丞趙君錫聯名寫舉報信，舉報蘇軾題寫在揚州上方竹西寺的一首詩存在嚴重的政治問題，詩曰：「此生已覺都無事，今歲仍逢大有年，山寺歸來聞好語，野花啼鳥亦欣然。」賈易認為蘇軾寫此詩時恰逢宋神宗去世之時，舉國同悲之際你蘇軾卻「聞好語，亦欣然」，是為「大不敬」。另外，賈易還指出蘇軾在差役法問題上態度反覆無常，政治面目可疑；在中央工作時提拔秦觀任秘書省正宗，有拉幫結派之嫌……結果翰林學士蘇軾被太皇太后趕出朝廷，後知潁州（今安徽省阜陽市）。這是個比杭州還要落後的地方，蘇軾等於是被貶了。
但是悲劇不止於此。從元祐年間到紹聖年間，蘇軾不斷地遭到彈劾。比如元祐八年（西元1093年）五月，監察御史董敦逸、黃慶基和趙挺之上書彈劾門下侍郎蘇轍和禮部尚書蘇軾兄弟倆任人唯親，將自己的心腹張耒任著作佑郎，晁補之任著作佐郎，甚至認為朝廷上下十分之六、七的官僚士大夫都是蘇軾、蘇轍兄弟的黨羽；又提出蘇軾在先帝（宋神宗）時就被一貶再貶，是個早該誅殺之徒。紹聖元年（西元1094年），宋哲宗親政，蘇軾更不見容於時局。御史虞策、來之邵二人先後發難，上書彈劾蘇軾在貶呂惠卿時所寫誥詞「首建青苗，次行助役、均輸之政，自同商賈，手實之禍，下及雞豚，苟有蠹國而害民，率皆攘臂而稱首」以及為司馬光神道碑中所作的文字有誹謗朝廷之嫌，請求對蘇軾嚴加處理。隨後，蘇軾被貶官英州（今廣東省英德市）。但還沒到貶所，宰相章惇加大處罰力度，追貶蘇軾為瓊州（今海南省海口南）別駕，安置昌化軍（今海南省儋縣西北）。紹聖四年（西元1097年）四月，六十二歲的蘇軾被再貶儋州（今海南省），起因是他寫了一首《縱筆》詩，內容曰：「白頭蕭散滿霜風，小閣藤床寄病容；報道先生春睡美，道人輕打立更鐘。」據說這首詩被章惇看到後，給出的評價是」蘇某尚爾快樂耶。」意思是蘇軾你現在過得還很快活啊。由此再被貶。蘇軾一貶再貶的速度堪比其先前一升再升的速度。世事輪迴，殘酷至此。而當時的時局也確實是翻手為雲覆手為雨。紹聖年間司馬光也下臺了，先是貶為清遠軍節度副使，後又追貶為朱崖軍司戶參軍，他的追隨者呂大防、劉摯、蘇轍、梁燾和範純仁等人被流放嶺南，另外，韓維等三十多名元祐年間發達的官員也被貶官。在此大背景下，不懂政治人事學的蘇軾所受的創傷當然更大。一月三貶，生活情狀可以說「食無肉、病無藥、居無室、出無友、冬無炭、夏無泉」。命運似乎已到谷底，再無鹹魚翻身的可能。但元符三年（西元1100年）正月，哲宗去世，徽宗繼位。五月，全國實行大赦，蘇軾的命運似乎迎來了一次轉機。但最終這是一次無力的轉機，一切為時已晚。雖然建中靖國元年（西元1101年）他被許可內遷廉州（今廣西省合浦縣）；同年八月改舒州（今安徽省安慶市）團練副使，永州（今湖南省永州市）安置；行至英州時甚至復官朝奉郎，提舉成都玉局觀（相當於七品官職）。但蘇軾至此對仕途再無半點天真的想象或者說想法。西元1101年，其實是他作為一個老人的葉落歸根之旅的開始。他在與時間賽跑，為自己尋覓一個好的歸宿地。正所謂時局千變萬化，筆端禍福難料，命運實在不是他可以把握的。建中靖國元年（西元1101年）六月，在金陵（今江蘇省南京市）往常州的船上，蘇軾病倒，一個月後就病逝於孫氏宅院，終年六十五歲。臨終前蘇軾遺詩一首：「心似已灰之木，身如不繫之舟。問汝平生功業？黃州惠州儋州！」是感嘆自己的一生。
其實，蘇軾的父親蘇洵在早年為兒子取名時早有預言：「輪、輻、蓋、軫，皆有職乎車。而軾獨若無所為者。雖然，去軾，則吾未見其為完車也。軾乎，吾懼汝之不外飾也！」這個「不外飾」的說法，提煉了蘇軾一生不肯趨炎附勢，固執己見的性格，到最後，他也只能為自己鋒芒畢露的性格而買單了。
畢竟是一介書生。