20世紀70年代，索羅斯基金取得了輝煌的業績。無論如何，索羅斯似乎都可以稍微放鬆一下，但索羅斯做不到。索羅斯的父母寵愛他和他的哥哥，但是索羅斯相反，他卻不能寵愛自己的妻子和孩子。索羅斯全身心地投入到工作中，很少有時間和妻子在一起，更別說陪伴孩子了。
1977年，索羅斯的婚姻開始破裂。據索羅斯說：「我和我的基金融為一體。我和基金生活在一起，睡在一起。它就是我的情婦。我努力避免失敗的恐懼，避免犯錯的煩惱。這樣的生活很糟糕。」
1978年，索羅斯和妻子分居。就在他們分居的那一天，索羅斯遇到了22歲的蘇珊·韋伯（susanwebber），他們曾在一次晚宴上見過面。蘇珊的父親是一位紐約商人，製造提包、鞋和配飾。蘇珊曾在巴納德學院（barnardcollege）學藝術史，之後協助製作了20世紀的兩位著名畫家馬克·羅斯科（markrothko）與德·庫寧（willemdekooning）的紀錄片。「我今天剛和妻子分居，」索羅斯對蘇珊說，「可以共進午餐嗎？」5年之後，索羅斯和蘇珊在長島的南安普敦舉行了婚禮。
1979年，年僅49歲的索羅斯已經賺了足夠多的錢，但是他感到工作的壓力越來越大。基金規模已經擴大了很多，需要更多的員工。原先的3名工作人員已經增加到了十幾個人。索羅斯不再是當初那個僅僅需要同一兩個人說話的小公司經營者了。現在的他不得不擔憂一些新的事情：給其他人委派工作。按同事的說法，索羅斯這方面的能力有限。
財源滾滾而來，索羅斯要做的投資決策也越來越多。要選出有潛力的股票，絕非易事。事情不僅如此，羅傑斯也漸漸感到不安。索羅斯和羅傑斯以前一直能夠克服他們的分歧，但是現在，出現了新的壓力。羅傑斯對經營這麼龐大的公司沒有興趣。索羅斯想引進一位新的合作伙伴，並將它培養成為自己的接班人，羅傑斯反對這一想法，2人陷入了尷尬的境地。索羅斯說道：「羅傑斯不同意我考慮的任何人選。他不能容忍其他人在身邊，別人同他相處十分困難。」
兩人合夥關係的解除說來有點諷刺意味，因為1980年是索羅斯和羅傑斯合作得最為成功的一年。儘管如此，在那一年的5月，羅傑斯離開了公司。
對於自己離開索羅斯的公司，羅傑斯的解釋是：基金規模太大了，職員太多，他必須花費很多時間來決定何時給他們休假，何時給他們提升。索羅斯和羅傑斯都沒有公開談論過兩人分道揚鑣的原因。在與我的一次簡短談話中，索羅斯表現得對舊事重提沒有什麼特別的興趣。但是，從他的語調中可以明顯地看出，他對這段往事記憶猶新，太痛苦了。
索羅斯開始懷疑，繼續經營是否值得。他已經掙了很多錢，多得花都花不完。而每一天的壓力讓他越來越難以承受。他感覺到用其他人的錢來賭博的壓力，以及管理太多職員的壓力。而這一切又是為了什麼？得到的回報是什麼？樂趣在哪裡？索羅斯承認，實際上他，感覺有點筋疲力盡了。經過了難以置信的12年，經過了艱苦奮鬥獲得了成功，但索羅斯認識到，作為投資者的生活還難以讓他滿足。
「最終，在1980年，當我無法再否認我的成功的時候，我就有了一種認同危機。我問自己，如果我不能享受成功，那麼我經歷這麼多的痛苦和壓力又有什麼意義呢？我必須開始享受我的勞動成果，即使這意味著可能毀滅下金蛋的鵝。」
索羅斯的認同危機影響了他的業務。當一項投資出現失誤時，他會越來越快地改變主意。他持倉太久，錯失良機。長期以來，索羅斯從與高層人士的接觸中受益，但是現在，他似乎在和錯誤的物件談話，至少批評他的人是這麼說的。實際上，他花費很多時間和政府官員在一起，特別是美國聯邦儲備委員會主席保羅·沃爾克（paulvolcker）。後來加入索羅斯基金的基金經理人格里·馬諾洛維奇（gerrymanolovici）說：「如果你是從政府官員那兒尋求投資建議，這隻會將你送進救濟院。」
1981年夏天，沒有人覺得索羅斯基金正在邁向救濟院。然而，有些人卻真的很擔心一切不會進展得如此順利。接著就迎來了美國債券市場的一次大慘敗。
索羅斯在美國債券市場的投資出了問題，這始於1979年底，當時沃爾克決定抑制通貨膨脹。利率從9%上升到21%，索羅斯相信經濟發展會因此而放緩。而債券在初夏重整旗鼓時，索羅斯開始購入，2011年到期的長期債券價格在6月份上漲至109，但是夏末又跌至93。
索羅斯一直認為短期利率上升高於長期利率會損害經濟發展，這將迫使美聯儲降低利率，從而會提升他的債券倉位的價值。然而，經濟卻仍然保持強勁勢頭，利率不但沒降，反而上漲得更高。
索羅斯以信用槓桿建立債券倉位，如果能夠保持正收益的話，索羅斯不會有問題。只要債券的收益超過融資成本，就能保持正收益，也就有利可圖。當利率是12%時，索羅斯建倉。後來，債券的收益率上升到了14%，而且一度上升到15%時，此時利率攀升到20%，正收益變成了負收益，利潤沒有了。那一年，索羅斯在債券上損失了5%。據估計，索羅斯讓客戶損失了800萬美元。
索羅斯借了太多的銀行貸款，他的客戶中有人開始感到膽怯。幾個重要的歐洲客戶決定退出索羅斯基金。索羅斯的一位同事回憶說：「索羅斯產生了挫敗感，覺得自己被迫要在錯誤的時機做錯誤的決定。他一直都說，如果你不願意承受痛苦，你就不應該在市場上混。無論是從情感上還是心理上，索羅斯都願意承受痛苦，但是他的投資者卻不願意。索羅斯意識到，自己的致命傷就是這群不足以信賴的投資者。遭受市場打擊讓索羅斯煩躁不安，虧錢讓他心煩意亂，但這些困擾都比不上別人棄他而去的幻滅感。是繼續留下還是退出，索羅斯舉棋不定。」
而諷刺的是，索羅斯關於經濟會惡化的預言最終被證實是對的，但是比他預期的時間推遲了6~9個月。索羅斯預言，高利率會導致經濟衰退，這也應驗了，但是經濟衰退直到1982年才出現距他在債券投資上受到重創已經很久了。1981年那個可怕的夏天，一份主要的商業雜誌，刊登了頌揚索羅斯的報道，極盡溢美之詞，而這恰恰發生在那次打擊的前夕，這種諷刺更加深了索羅斯的痛苦和難堪。
1981年6月，索羅斯出現在了《機構投資者》（institutionalinvestor）的封面上。索羅斯的笑臉旁還寫著：「世界上最偉大的資金經理。」副標題是：「喬治·索羅斯沒有一年虧過。而他每年的贏利都讓人驚歎。讓我們來看看，在過去的十幾年中，索羅斯是如何與理財的趨勢背道而馳，並從中積累了1億美元的個人財富。」
這篇報道解釋了索羅斯如何建立起自己的財富王國。看過《機構投資者》這篇文章的人，一般會認為索羅斯是個謎一樣的人物，像一個不透露秘密的魔術師，狡猾但不奸詐，而且聰明，甚至是英明。文章的作者指出：「沒有人能非常確定索羅斯會在哪裡採取行動，或者他的一個倉位會保持多久，這讓索羅斯的輝煌業績更蒙上了一層神秘的色彩。作為海外基金經理，索羅斯不需要在證券交易委員會註冊，他避免接觸華爾街的業內人士。」
「和索羅斯有過交往的業內人士承認他們從來沒有覺得和索羅斯特別親密。而且業內人士普遍認為索羅斯不太在乎名望。」在很長的一段時間內，索羅斯一直拒絕《機構投資者》進行封面人物的採訪。後來總算答應了接受採訪，但是索羅斯仍表示：「和市場打交道的人應該默默無聞。」
那年夏天，索羅斯多麼希望可以繼續默默無聞，但他卻成為一個新的公眾人物。世界上最偉大的基金經理此時卻陷入了資金管理的麻煩。那年夏天的損失深深地傷害了索羅斯。正如1981年10月12日《福布斯》的編者按中所寫：「如果世人不知道他的輝煌成就，也就不會在意他的挫敗了。」由於《機構投資者》的封面報道，全世界都知道了喬治·索羅斯的既往業績，因此，那年夏天，全世界似乎都在關注他。客戶背棄他的危險越來越大。儘管索羅斯去歐洲跑了很多趟，與一位重要的瑞士投資者談話，希望他不要退出基金，但是這位客戶已經對索羅斯基金失去了信心，最終還是退出了。
其他投資者紛紛效仿。一位當時的同事談到這件事時說：「索羅斯第一次經歷合夥人的背叛。在過去的10~15年裡，索羅斯為他們賺了很多錢，而現在這些原本忠誠的客戶卻離他而去，那個夏天，索羅斯對這些人充滿了怨恨。資金的撤出讓索羅斯很受傷，在此後很長一段時間裡，索羅斯沒有再主動請求別人注資。」
1981年是索羅斯的基金經營得最差的一年。量子股價下跌了22.9%，這是這麼多年以來的第一年，索羅斯基金沒有贏利。有人說，索羅斯的很多投資者是陰晴不定只看業績的歐洲人。他們擔心，索羅斯已經失去了控制能力。因此，1/3的人撤出了資金。索羅斯之後承認，這不能怪他們。這些投資者的離開使得基金的資產縮水到1.93億美元，幾乎減半。
如果喬治·索羅斯想到要退出投資界，這似乎是很自然的事情。他花了很長的時間，苦苦思索自己應該怎麼做。他想過捨棄所有的客戶，這樣做的話，至少在將來不用面對投資者的拋棄。
時機似乎成熟了，他可以開始撰寫他一直想寫的書了。他甚至已經暫定了書名。他準備將這本書叫做《帝國的迴圈》（theimperialcircle）。