儘管人們大體上總是比過去的自己變得更成熟、宜人，更有責任心，但卡斯比等人認為，這種成熟的變化是有限的，個體的人格並不會隨著年齡的不斷增長而無限度地發展變化。
他們以「設定點」來比喻人格的這種「有限」發展，即不論人們的人格如何成熟或變化，最終總是在這個「設定點」所在的一定範圍內波動。例如，一個容易在社交場合感到緊張的人，即使隨著年齡的增長、經歷的豐富以及反覆的努力，自己能夠在最大程度上減低緊張感，卻也很難徹底轉變成為一個樂於交際的人。h42.我們的精神胚胎影響著我們自身的成長環境，從而進一步影響人格的形成/h4在大量文章都在強調教養方式對孩子的性格產生影響的時候，人們常常忽視一個事實：孩子天生的脾氣性格會對家長的教養方式造成影響。美國心理學家羅伯特·麥克雷（robertmccrae）等人認為，有些父母之所以對他們的孩子表現出更多的寵溺，很有可能是因為這些孩子天生的「宜人性」較高，更常表現出可愛的一面。
另外，人們也會自覺或不自覺地選擇、主動尋找與自己個性更契合的環境，就這樣人們的天性又在自己所選擇的環境中被不斷強化。比如，一個成就取向的人，覺得大城市能給自己提供更多的學習機會和發展空間，於是決定在大城市奮鬥，與此同時，ta對於成就的渴望也在大城市裡被不斷回應和加強。
卡根也曾感嘆道：「先天因素對於人格形成的影響，超出了我們所能想象和所願意相信的程度。」h3在記憶形成之前，最初的環境影響了精神胚胎的發育/h3人格形成的後天因素主要指成長環境與經歷，這其中，家庭是人們最初的社會化場所和最主要的成長環境。環境對我們的影響早在我們的記憶產生之前就已開始。我們有時無法理解自己性格中的某些部分，而它們恰恰和我們人生最初記憶的缺失有關。我們可能並不知道自己在襁褓中的環境是什麼樣的。h41.人生最初的親子關係/h4親子關係是人們最初的社會關係，影響著個體日後的人際交往。尤其在生命的初期，生理需求能否及時得到滿足，影響著個體對於外在世界與他人的信任感、安全感的判斷。如果父母能及時回應孩子的需求，孩子則更有可能認為外在世界是安全的，ta長大之後也更容易表現得不拘謹，善於與他人交往。
另外，匈牙利心理學家瑪格麗特·馬勒（margaretmahler）等人認為，嬰兒會從最初時期與母親的「共生」關係中（由於嬰兒的生理需求與有限的認知能力，ta與母親之間最初就像一個生物性的整體），逐漸分離獨立出來。但若在「共生」期，母親的愛過於有侵犯性，或讓孩子感到「喘不過氣」，ta便會比其他孩子更早地和母親保持距離。而ta也更有可能在成年之後，對他人的親近感到不適或甚至抗拒。
儘管大多數幼年記憶早已被我們遺忘，但這些關於愛與安全的感受早就固著在已有的精神胚胎之上，影響著我們之後的人際關係，包括親密關係。h42.人生最早期的家庭教養/h4父母在家庭中養育、保護、照顧孩子的同時，也教育他們如何行走和說話，培養他們形成自己對世間的好惡和價值態度，為他們提供社會交往、情緒管理等一系列社會化行為的模型。而我們很多時候思考家庭對自己的影響時，都並不瞭解在生命的最初，父母對我們的教養是如何的——它對我們的塑造，在懂事之前就存在了。
從社會學習的角度來看，一方面，人們通過觀察學習來模仿父母的表情、姿勢、發音，到說話、走路，再到後來的為人處世、價值判斷等等，這個過程塑造了孩子的人格特質。另一方面，通過行為強化，即獎賞與懲罰，人們也能直接習得行為模式。例如，不諳世事的嬰兒也會因為發現自己的笑可以得到母親更多的關注（獎賞），而更經常開懷大笑，這便使他們更有可能在長大後成為「宜人性」高的人。
弗洛伊德的女兒安娜（annafreud）在「兒童發展」理論中提到了人生最早期的家庭教養對我們人格的影響：
例如，進入肛欲期（1~3歲）的幼兒，原始衝動的滿足主要依靠大小便的排洩得以滿足。若此時家長對於孩子排洩訓練失敗，如過早地強迫孩子保持潔淨，就有可能激發孩子通過自我防禦來捍衛自己自由排洩的權利，孩子會因此更有可能形成所謂的「肛欲性格」，即個性上更為頑固、吝嗇和冷酷。
相反，如果家長對孩子逐步地進行排洩訓練，就能夠幫助他們更好地接受家長和「社會」對於個人清潔的要求，他們得以逐步將這種標準整合到自己的超我（即道德感）中，對自己日後的行為進行自覺的約束，而守時、責任心等寶貴的人格特質也會在此過程中逐漸形成。
當然，無論嬰兒期，還是其他生命階段，個體成長過程中所遭受到的創傷經歷（如被某一方父母遺棄，目睹劇烈的家庭鬥爭等），都會對人格造成影響，即便由於對一些階段沒有記憶，個體甚至可能沒有意識到那些經歷是存在的。這種影響是有生理基礎的。美國學者道葛拉斯·佈雷姆納（douglasbremner）的研究發現，創傷性事件帶來的巨大壓力可能會導致大腦中的海馬體萎縮，而這又會對人們的情緒穩定性造成影響。h3我們仍然可以是自身人格的塑造者/h3如果我們的人格很大一部分由先天的精神胚胎決定，又受到生命最初環境的影響（那時候我們對環境還沒有太多的控制力），同時我們的精神胚胎還影響著我們會進入什麼樣的環境（例如，天生宜人性高的孩子更不容易被父母嚴厲地處罰，天生競爭性強的孩子會選擇不斷進入更有挑戰性的學校等），那麼這樣的事實是不是太悲觀了？我們是不是對「自己會成為什麼樣的人」缺乏足夠的掌控力？
事實並非如此。其實，意識到這些事實，恰恰對我們更好地掌控自己的人格有好處。
每個人都有一個精神胚胎，它決定了你的基本氣質和你未來可能發展變化的範圍，這意味著我們不需要對自己有過高的、不切實際的期待和要求。你一定有天然的極限，但同時也會有天生的優勢。接受最本真、最核心的自己，同時在一個合理的、現實的範圍內努力成長和進步，這會是一個讓你更少自我苛責、更少焦慮的狀態。
你的精神胚胎一定程度上也影響著你會選擇什麼樣的環境，意識到這一點能幫助我們避免自己變成一味埋怨外界和他人的人，並對自己的環境多一分警醒。同時，如果你的環境持續地不如人意，你需要看看你自己的人格特點是否在其中有一些影響，即你是否選擇了進入和留在這樣的環境裡。
如果你希望更多地瞭解自己身上不被自己理解的性格特點，你可以考慮去了解自己生命最初的經歷，這也許會給你一些不一樣的啟發。
布萊恩·利托認為，人們並非基因或環境的受害者，即使在人格形成之後，人們依然可以自由地選擇成為一個怎樣的人。他指出，我們「每個人都至少有3個自我，一個是由基因決定的，一個是在環境與文化影響下的，還有一個是由我們自己所追求的人生目標與價值所定義的，而最後這一個，才是最重要的、完全屬於自己的自我」。