令人煩惱的是，被安置在那裡的尼德蘭工匠和農民很快就失去了價值，相應地對於將錫蘭變為「白人」殖民地的期待開始衰減。即將就任的總督裡克洛夫·範·戈恩在1663年派往阿姆斯特丹的時候抱怨說：「我們的殖民者大部分原來是士兵或水手，沒受過什麼教育，不懂貿易，只擅長開酒館賣亞力酒……我們應該使錫蘭能夠自立。」
情況不像計劃的那樣進行。沒有人願意種地，或者投入到任何其他一種誠實勞動中。而且到18世紀初，他們變得越來越不像尼德蘭人，而是更多地受到他們生活於其間的奴隸社會的影響。有一些流行的舞蹈，如「卡菲里納」「奇科蒂」「拜拉」，是依據非洲的節奏舞動的。有一支舞蹈就叫作「莫三比克」。新來的定居者還需要適應葡萄牙人娶僧伽羅新娘的做法。要不然，他們就娶混血妻子，她們撫養長大的孩子會講葡萄牙方言。儘管尼德蘭加爾文教派的牧師對此感到沮喪，但是那裡確實沒有其他選擇，極少有白人婦女從尼德蘭來到這個遙遠的熱帶島嶼。
錫蘭的異族婚姻導致它與好望角的社會結構存在顯著差異，尼德蘭人出海去往印度，到達好望角時差不多跑完了全程的三分之二，但所花費的時間卻不到全部時間的一半。這兩個殖民地都採用羅馬-荷蘭法，但是所處的環境形成對比。儘管東印度公司需要桌灣為航行去往東印度和從東印度歸來的船隻提供「補給」，但是好望角的居民從來不覺得他們屬於東方。甚至那些沒有機會或者希望返回歐洲的人，仍保留了大量的本國文化，到18世紀中葉，開普敦成為一個相當國際化的地方。
相反，極少有人拜訪錫蘭的首都科倫坡，那些去了的人也不喜歡它。那裡的學校貧窮破敗，人們很少去教堂，而準歐洲社群又似乎沉溺於喝酒和賣淫。法令規定與「異教徒」在一起的女性基督徒會被鞭打直至流血，她們會被打上烙印，帶上鐐銬，她們的孩子還會淪為奴隸，但是根據種族和宗教將居民隔離開來的嘗試並不成功。
但是，每年錫蘭都是準備返回家鄉的尼德蘭東印度商船的聚集地。當開始吹起東北季風時，來自遙遠港口，滿載香料、棉布和絲綢的貨船聚集在加勒港。他們的習俗是在聖誕節這天，等待船長們在加勒的加爾文宗教堂祈禱完畢後，開啟這場返回家鄉的長途航行。他們畏懼的不僅是暴風雨。在戰爭時期（大多數時候都是），他們在馬達加斯加島的周邊海域遭遇私掠船的襲擊，馬達加斯加島正好處於錫蘭和好望角之間的航線上。
尼德蘭人總是對其他歐洲強國在馬達加斯加的活動保持警惕，因為這座大島具有明顯的戰略價值。然而，實際上，在阿爾布開克和其他葡萄牙人對不懷戒心的島民發動了第一輪襲擊之後，馬達加斯加被忽略了。那裡沒有黃金，沒有香料，沒有大象，也就沒有象牙，而這座島嶼作為奴隸的一個來源的潛力也才剛剛有所顯露。
然而，在範·裡貝克到達好望角之前九年，法國人已經在馬達加斯加的南端建立了一個定居點。1642年，路易十三的首席大臣紅衣主教黎塞留在臨終前下達了一個命令，開啟領土擴張的冒險。黎塞留強烈地認為法國必須立刻在東方展現它的力量，而馬達加斯加似乎是通往印度的一塊非常適合的墊腳石。為了向當時還是一個嬰兒的路易十四致意，這個定居點取名多凡堡，後來路易十四正式將馬達加斯加（面積比法國還要大）吞併到他的帝國裡。此時有四個歐洲國家爭奪好望角以東地區：葡萄牙、尼德蘭、英國和法國。
黎塞留要求儘快佔領這座大島的緊迫感是對的，因為1645年3月，就在多凡堡建設完成之前，一支由一百四十個英國清教徒組成的連隊在島嶼南部的聖奧古斯丁灣登陸。他們想要建立一個像二十五年前首批清教徒在弗吉尼亞建立的那樣的殖民地。這個想法受到一位為英國東印度公司服務的醫生沃爾特·哈蒙德的鼓勵，他曾多次停留該島。他宣稱島上的居民是全世界「在世俗事務方面」最幸福的人，他們會歡迎殖民者。在1640年出版的一本書中，哈蒙德認為，「由於那裡物產豐盛，居民親切，我們英國的船隻可以得到很好的放鬆，那裡是一個充滿希望的地方，適合開拓種植園」。
在黎塞留提出倡議之前兩年，哈蒙德認為，「沒有一個基督徒國王」可以宣稱對馬達加斯加島擁有所有權：「西班牙國王要辦的事已經很多了，以至無法騰出空來反對我們在那裡的活動，我們的人可能會享受到那裡最豐碩的一次收穫的首批成果，那比在美洲拾人牙慧要好得多。」這個說法反映出，那個時代的英國人普遍認為牢牢控制新世界的西班牙（還統治著葡萄牙）將會一直在那裡統治下去。這也是夢想在全世界開始建立殖民地的英國商人冒險家的全盛期：例如威廉·庫爾唐爵士，1627年他在巴貝多島登陸，帶去了一千八百五十個定居者，要不是他去世了，他一定會在馬達加斯加島幹出一番相似的事業。莫爾的《烏托邦》（citeutopia/cite）和弗朗西斯·培根子爵的《新大西島》（citenewatlantis/cite），鼓舞人們建立理想社會，遠離貪婪和紛爭不斷的歐洲。
1646年，商人理查德·布思比出版了一本口吻要比哈蒙德更加恭維、對馬達加斯加島簡介的小冊子。那個時候清教徒已經到達該島，但是要想了解他們將會遭遇什麼還為時太早。布思比預測，馬達加斯加島上的種植園數量會超過「美洲或者其他地方」。但是，定居者不快樂，因為他們已經知道了完全不同的情況。他們登陸的地方土壤貧瘠，當地人也不友好，他們把歐洲人視為奴隸。這些想要成為定居者的人受到當地人的圍攻，他們被困在柵欄圈裡直至餓死。
最初的一百四十個定居者中只有十二個人返回了英國；還有幾個人得救，被帶到了印度；1647年「太陽」號船搭載三位婦女和一位牧師前往模里西斯。一位叫作波爾·沃爾德格雷夫的倖存者，苦澀地回應那本將馬達加斯加描述為「真正的人間天堂」的書，他說如果堅持從事醫生這個老本行，哈蒙德應該會做得更好。
法國人在多凡堡堅守的時間比清教徒的定居點長多了，為此也付出了更大的傷亡代價。在1674年最終放棄馬達加斯加島之前，法國至少派出了四千名定居者和士兵，幾乎無人生還。許多人死於疾病，其他人死於和當地社群的衝突。憑藉母國的穩定支援，他們定居點的情況會好很多，但是隨著時間的流逝，沒有一艘法國船到來提供援助。守備部隊的殘餘部分撤退到留尼汪島（後來叫作波旁島）和法國在印度的主貿易站本地治裡。二十年後，一位尼德蘭船長到訪多凡堡，發現統治它的是一個來自西印度群島（馬提尼克島）的海盜「塞繆爾國王」。塞繆爾率領二十個白人罪犯、三百個當地民兵，以及一支由有舷外托架小船組成的艦隊，在馬達加斯加南部海岸的廣闊區域內作威作福。
尼德蘭人沒有在馬達加斯加建立殖民地，但是他們在那裡購買奴隸，以便為他們在模里西斯的蔗糖種植園提供人力，這座島後來成為好望角勞動力的一個來源地。尼德蘭人還首先意識到該島與印度尼西亞有民族聯絡，因為馬達加斯加的精英所講的語言與他們在印度洋東部的殖民地當地民眾所說的語言相似。島嶼中部高度超過6000英尺的山被印度尼西亞人稱作霍瓦山，他們堅信這座山對較小的社群有重要影響。
幾個世紀以來，由於與非洲的聯絡，島上的大多數人口都是有色人種，特別是距離莫三比克兩天航程的西海岸地區。早先時候，「佤克佤克人」將奴隸運過來為他們工作。後來，阿拉伯商人從非洲運來人口到他們在島嶼北端的定居點。在低地，還有很多逃出來的黑人的殖民地聚居地，他們被稱作「逃亡黑奴」。到17世紀晚期，馬達加斯加已經被認為是一個為美洲種植園提供奴隸來源的地方。有些奴隸乘坐小船，從莫三比克被運到馬達加斯加的待販運奴隸臨時禁閉處，其他奴隸是在突襲附近的葛摩群島時被抓獲的。他們用槍炮、手鐲、布料、鐵棒和白蘭地從奴隸販子手中購買奴隸，然後用船將奴隸運過好望角。英國船隻在奴隸貿易中表現得非常積極，以至於有時候8艘英國船會在同一個地方拋錨，因為馬達加斯加的奴隸遠比幾內亞的奴隸便宜，那裡的激烈競爭抬高了價格。巴貝多島和鄰近的加勒比群島的種植園勞力中，一小部分重要的奴隸來自馬達加斯加島，其他奴隸乘船被運往牙買加。
一艘形單影隻的商船經過馬達加斯加，一個機會自動降臨了：一些奴隸貿易商想在外海劫掠。他們競相捕捉「獵物」，割斷從更加擁擠的加勒比海地區向印度洋移民的人的喉嚨。很快，馬達加斯加就因為新近出沒的海盜而臭名昭著。對這些海盜奢華生活的誇大報告立刻傳到歐洲，使得原來由哈蒙德提出的那個謬誤——這座島是一個亞熱帶伊甸園——重新流行起來。該島被珊瑚礁環繞的海岸線為許多國家的海盜提供了隱匿處，而其中一個離島聖瑪麗是他們集結的理想場所。
馬達加斯加的海盜開始去往北部遠至紅海的地方冒險，去劫掠那裡的商船，儘管他們的問題是在何處才能將他們劫掠到的東西在不被捕的情況下出售。通常，他們能夠期盼到的最好結果是有一群大膽幫兇來訪，他們假扮成誠實的商人，載著武器、軍需、衣服和酒，用來交換劫掠的財寶。有些偷偷摸摸從新英格蘭來的補給船可能是進入印度洋的第一批美洲船隻。
18世紀的編年史作者是這樣寫海盜的，有些不只是海上的流浪者：圍繞來自普羅旺斯的船長米鬆發展出了一段令人震驚的傳奇，據說他的衣著十分優雅，言語也很熱情。人們普遍認為他加入了多明我會的叛徒卡拉喬利修士的軍隊，他們想在馬達加斯加島北端的安採拉納納灣建立「自由之國」。來自普利茅斯的英國海盜湯姆·圖也加入了他們。
他們及其追隨者宣稱，一個憑藉自己的勇氣偷竊富人的人，要比在法律的保護下——通常是使用合法的權力——偷竊窮人光榮得多。「自由之國」的座右銘是「為了上帝和自由」，他們甚至有基本的議會，會上使用類似世界語的語言。米松建造了很多單桅帆船，其中一艘名為「童年」號。
「自由之國」存在的時間很短。儘管它向海一面的防禦工事十分堅固，足以抵禦一支葡萄牙艦隊的攻擊，但是它朝陸地的一側沒有任何防護，因為米松認為他們已經贏得了鄰居馬達加斯加人的友誼。某天夜裡發生的事情證明他是錯的：定居點被攻陷。只有45個人倖存了下來，海盜-修道士卡拉喬利也死了。「自由之國」隨之終結。
在馬達加斯加的所有海盜中，最著名的是蘇格蘭人威廉·基德船長，他在航行進入印度洋之前，一生的大部分時間是在紐約度過的。當他帶著大量獎賞返回美洲時，基德被捕並且被帶到了倫敦。經歷可疑的審訊後，他被絞死了，那時候他仍然宣稱他只是一艘私掠船的船長，忠誠對抗法國。（一艘私掠船的船長從他的政府處得到一份委任，允許他追捕敵船，然後劫掠他們的貨物。如果能將被俘獲的船當作獎賞帶回家，那才是真正的勝利，否則，他們獲得首肯的慣例是炸沉那艘船。）
儘管從笛福到羅伯特·路易斯·史蒂文森等作家大多頌揚英國的海盜，無論他們是真實的還是虛構的，但是法國的海盜數量更多。18世紀早期，莫臥兒帝國通過蘇拉特的總督向路易十四抱怨，說這些強盜妨礙他的臣民到麥加朝聖。法國派駐印度的一位官員承認，他的國家的名字的確成了海盜的同義詞。
最後，在歐洲國家齊心協力開展「清掃海洋」的活動時，法國海盜在馬達加斯加留下了最後的印記。它使之帶有一種高盧式的氛圍（完全不是激發人的暴力傾向那一類的）。隨海盜而來的是法國商人和冒險家，他們開拓了通往內陸的路線。儘管失敗了，但多凡堡成為一個預示，它是通往殖民主義之路的指示牌。