當然，他也作了防備的，如多帶衛士，增崗加哨，嚴加戒備等。另外，行期保密，如對外說是6月1日動身，實際是6月3日才啟程，並不斷變更車次，究竟什麼時候到達瀋陽，並沒有個確切的時間。
然而，很遺憾，這種種防備都已經過遲了，因為日本關東軍早派特務潛入北京對張作霖進行嚴密監視了，他的一舉一動日本人都瞭如指掌。
但張作霖卻還矇在鼓裡。戰爭的失利，形勢的逆轉，使他的撤離籠罩著一種冷清和不祥的氣氛。但愛講排場的張作霖還是不忘前呼後擁，還總想即使是引退，也總要走得氣派一些，所以他的專車浩浩蕩蕩，共掛有二十多節車廂，他本人攜眷乘坐的是前清老佛爺——慈禧太后的豪華花車。據張懷英老人談，那花車車箱內，「裝潢極講究。一間大客廳，一間大臥房，車內全用金黃色絲絨裝飾、窗簾、座椅皆為黃色。當時馬伕人隨行，在臥房內為父親燒煙泡」。為安全計，花車特意編排在整個列車的中部，前後方的車廂，坐滿了隨行人員和全付武裝的衛隊。為防不測，在火車前面，還特設定了壓道車，誰想在路軌上做手腳，也是很容易發現的，真可謂嚴加防範，周密佈署，想得夠周到了。但也正象俗話所說的：智者千慮，必有一失；或謂：明槍易躲，暗箭難防，如果有人處心積慮要對某個人進行暗算，有時確實是防不勝防的。
原來，就在張作霖準備退回東北時，以村岡長太郎為首的日本關東軍司令部謀殺張作霖的「皇姑屯行動」絕密計劃也正在加緊策劃中。最初，他們是準備派一個叫竹下義晴的參謀去北京刺殺張作霖。也就在這個時候，他遇到了關東軍司令部高階參謀河本大作，獲悉這一特殊使命後，河本似乎表現了異乎尋常的關注，對竹下說：「最好不要乾沒有用的事情，萬一失敗了怎麼辦？在華北方面，果真有能夠完成那樣大膽謀略的可以信賴的人嗎？很不放心。萬一（搞糟）的時候，如果不讓國家和軍方承擔責任，而只以個人的責任來結束的打算辦不到的話，那麼虎視眈眈的列國一定認為好極了，不知會怎樣乘機指責呢。讓我幹吧，別無他途。你若是去華北，要一直徑去北京，詳細偵察張作霖的行動……通知我就行。」
河本大作謀刺張作霖的絕招是炸車。
竹下義晴到了北京後，很快便將張作霖將乘火車返奉的計劃電告河本，河本立即行動起來，炸車地點他最初選在京奉線的巨流河鐵橋，因此處有中國軍警監視，怕露馬腳，所以改在皇姑屯車站。這裡是南滿鐵路與京奉鐵路的交叉點，在離車站不遠處，有一個三洞橋，由日本人控制的南滿鐵路在上面，京奉路在下面，因為橋上是由日軍警戒的，便於他們作炸車的各種準備，所以就把這裡作為炸車的地點。
在這之後，河本在三洞橋附近設了崗哨，實行戒嚴，任何人不得靠近。然後調來工兵，放置炸藥，安裝電動引爆裝置，並在一僻靜處設立了瞭望臺。河本為保萬無一失，還計劃若爆破失敗，便設法使列車脫軌顛覆，並立即讓一隊伏兵衝過去將張殺死。而在這一切準備就緒後，還特地將兩名中國乞丐（原為三人，其中一人逃跑了）先行殺死於橋下，將他們偽裝成所謂「南方的便衣隊員」，在作案後被炸死的樣子，以轉嫁罪責，掩人耳目。三年後的「九一八」事變，日本關東軍也是採用同樣手段，密令其守備隊自行炸燬瀋陽北郊柳條湖附近一段路軌，反誣中國軍隊「破壞」，並以此為藉口，開炮轟擊東北軍駐地北大營，並向瀋陽大舉進攻的。歷史嚴峻地證明，日本軍國主義分子是很兇惡的，他們為了迅速佔領東北，進而吞併全中國，無所不用其極，是什麼樣的陰謀詭計都會施展出來的。
張作霖的專列是6月3日夜離開北京，開往關外的。
那是一個多少還有點涼意的夜晚，月明星稀，冷風習習。
張作霖是在隨行人員的再三催促下，才懷著悵惘和依戀之情與中南海告別的。當時他是「乘坐由奉天迫擊炮廠廠長沙頓（沙頓系英國人，第一次世界大戰時炸掉一支胳膊，都叫他缺胳膊。他用一支胳膊開汽車，開得很好）駕駛的、在英國定做的大型厚鋼板防彈汽車，顏色為黃色，駛往火車站。」5那個當兒，車站上靜悄悄的，也許是戒備森嚴的關係吧，除了有一小部分暫留北京的官員在此恭候，以便送行外，車站上是看不到在平時那種熙來攘往的熱鬧場景的；給人的印象是行色匆匆，神情沮喪，頗有點落荒而逃的情景，這就不能不使古老的北京車站那偌大的月臺上，更顯得寂寥蕭索，呈現著在兵荒馬亂年代所特有的那種倉惶、沉寂和淒涼的景象。
當然，要說完全沒有一點官場的禮儀和送行的氣氛，那也不太符合實際，這也正象司馬桑敦刻意描述的：
一九二八年六月三日深夜，北京城的上空，萬里無雲，月明如鏡（正當陰曆的四月十六日）。由西城後溝沿的順承王府到前門東車站，沿路上奉軍的衛隊，崗哨林立，警備森嚴。
午後一時十五分，大元帥張作霖的車隊到達了車站，軍樂隊立刻奏起音樂。車隊中的第一輛車是軍政府總理潘復，他首先下車，接著是各部總長、侍從武官，以及其他重要府院的文武百官。張作霖的座車是第四輛的黃色大橋車，他下車時，著藍色的大元帥常服，腰間佩劍。
他身材雖然不夠魁梧，但步履間卻是英挺颯爽。
這時，他的兒子張學良，當時擔任第三方面軍團長，和第四方面軍團長的楊宇霆，以及甫由南京前線敗退下來的第一方面軍團長的孫傳芳等人，都候在站臺上歡送大元帥的離京出關。張作霖和他們一一握別。軍政府撤退專車一共三十輛，當張作霖踏上車門時，車準時徐徐開動了。張作霖佇立車門的臺階上向送行者一一答禮，一直到專車開出站臺，他這才走進車廂。張作霖面上雖然一直維持著鎮靜的微笑，顯然的，他的內心則是不勝其感慨的了。
這是張作霖以大元帥名義入主北京中樞的最後一幕。由上一年六月十六日成立以來勉強算是一年的軍政府，就此宣告收場了。
這時的張學良，卻比他老子有著另一種的感受。車站上送行的一幕，他固然不無曲終人散的唏噓，與此同時，他卻也不無一種萬般有了解脫的安堵。也許應該說，他如其興奮的有感於最後這一幕，毋寧是在迷茫中觀賞了這一幕；當然，他不會一開始時便期待著有這一幕。不過，事實上他也並不覺得這一幕來得太屬意外。6
專車駛抵天津時，張作霖的日籍顧問町野武馬找個藉口下車了，並且沒有再回來。這更引起人們的猜疑，許多人都有些提心吊膽，生怕出事。當然，對於這位町野先生，現在人們的看法不盡一致，有的認為張作霖在準備啟程出關之前，對於有人可能要加害於他的事，已有所聞，但町野卻表示願親自陪他返奉，以釋張疑。也有的則認為他的下車不是偶然的，是由於他事先知道情況不妙，因而藉故溜掉的；但也有的則認為他的下車很可能是奉命行事，並非怕死，或曾充當內奸之類，因此人做張氏顧問甚久，是忠於張氏的。關東軍少壯派要謀殺張作霖，他雖然不一定摸底，但是曾覺察到了的，在張作霖準備出關臨走之前，他曾提出應在白天到達奉天，已有所暗示，可惜這個提醒未引起張氏的注意。是的，張作霖是有些大意了，他根本沒有這方面的思想準備，總認為他堂堂大帥，實力雄厚，想打他的主意，豈不是以卵擊石、飛蛾撲火？退一步說，即使有些不自量力之徒鬧事，大不了也不過躲在一些溝溝窪窪裡，朝他坐的火車放點冷槍，騷擾一下，然後就會象兔子似的跑掉，其他的事，是不會發生的。很明顯，這是有點反常的，因為張作霖每出遠門，在他行經之地，總是崗哨密佈，坐有防彈汽車，行有大批衛士簇擁，甚至在乘坐的汽車內都有衛隊營長掌握著一挺機關槍，汽車兩邊也站立著荷槍實彈的警衛人員。這次，不知為什麼，據說他不讓戒嚴，一切公開，對於安全問題，似乎還挺有把握似的。究其原因，過高地估計自己的力量固然是一個重要因素，但他過於輕敵，特別是他只考慮到各派軍閥之間的明爭暗鬥，對於日本人的敵意，對於他此行可能會遇到的危險估計不足，也是他死於非命的一個關鍵。有道是：人每反常，即非好兆，出事也就難以避免了。
皇姑屯炸車案，說起來驚心動魄，可在案發之前，卻一切如故，風平浪靜：
6月3日凌晨1時15分，張作霖乘專車離開北京遄返奉天，潘復、劉哲、張景惠、王蔭泰、英德惠、楊毓珣、何豐林、陳興亞、於國瀚、閻澤溥及張之六夫人、三子張學曾等30餘人及日本顧問儀峨誠也、町野武馬同行，專車共18輛，張作霖坐在第三輛藍鋼皮車廂，是當年慈禧太后的花車。列車過津時，町野武馬、潘復下車，常蔭泰上車。過山海關站，前來迎接的黑龍江督軍吳俊陞加入，張改乘第四節車廂，緊靠藍鋼皮車廂的後面。
「相傳離平時，其密探曾有日人謀害之警告，張問町野武馬，町野自請偕行，以釋其疑，然町野在津下車，儀峨則繼續同行。」（梁敬錞《九一八事變史述》第215頁）另據時任日本駐奉天總領事的森島守人回憶說：「策劃炸車陰謀的有關人員，恐怕只有兩三個人。……決定以大局為重，就是犧牲儀峨這個人也在所不惜。」