陳光遠已經決意為了自己的利益而戰了
他要在湖南死死的拖住北伐軍，為自己撤離江西的財產爭取到最大時間
仗打輸了不要緊，地盤丟了也不要緊，只要有錢，其它什麼都是假的。
在這樣怕心態下，翰軍擺出的不是進攻，而完全是防禦態勢。
陳光遠的心態，也很快為張孝淮所洞悉。
陳光遠不想打，但張孝淮卻動手了
衡陽衡山兩個方向，張孝淮集中起三個師又一個旅之全部兵力，向翰軍發起了最猛烈的攻擊。
翰軍這個時候的心態是非常複雜的。
幫著湖南打仗，在他們看起來與他們沒有太大的關係，而且北伐軍的實力明顯的擺放在了那裡。
如果陳光遠能夠拿出大把大洋來犒賞三軍，情況或許會有所不同，但陳光遠實在太愛財了，這未免讓軍心有些渙散。
一支沒有目標的軍隊，如累沒有利益的驅動，是沒有任何凝聚力可言的。
張孝淮看的非常清楚，在不斷髮動攻擊的同時，張孝淮同時又派出大量人手，在翰軍中秘密做著分化瓦解的工作。
最先倒戈的，是防禦在衡陽的12師的一個營，在戰鬥進行到最關鍵的時刻，該營忽然反戈一擊，致使前線陣地頓時陷入混亂之中，潰不成軍。
一旦有了開始，效仿者便也多了。
其後，又有兩個連戰場倒戈，從翰軍搖身一變成為了北伐軍，轉而攻擊起了自己曾經的同伴。
親自趕到衡陽督戰的陳光遠心慌意亂，接連殺了兩個同樣準備投敵，但處事不嚴而敗lu的營長之後，這種局面才被勉強控制下來。
但隨著北伐軍攻勢的加強，衡陽還能堅持到什麼時候那就難說得很了。
次後，一件讓井光遠擔憂的事終於發生：衡山失守，自己的九弟陳光成為俘虜
井光算得上是翰軍中比較能打仗的一個在接到陳光遠命令自己防禦衡山的命令之後採取主動出擊潭泊，企圖拖住北伐軍的腳步。
親自指揮著33師的張孝淮，一面與敵ji戰，一面秘密派出一個連的兵力，繞過潭泊主戰場，以翰軍敗軍姿態混入衡山。
在潭泊久攻未克，反而損兵折將的陳光逸，被迫退入衡山堅守。
入夜，混入衡山的北伐軍該連，強行奪取城門北伐軍第33師大舉進入衡山。
無力挽回敗局的陳光逢，也在敗局已定的情況下表現出了自己的兇悍，親自帶著一個警衛營怕兵力，死死的守衛著自己的旅部。
在北伐軍的輪番攻擊下，陳光遣的警衛營人數越打越少，越來越無法支撐。眼看局勢無法逆轉，不願意成為俘虜的陳光遣企圖自殺，
但為其貼身警衛奪走槍支，幾乎是哭著哀求旅長不要做這樣沒有意義的事。
陳光知道警衛是為自己好長長嘆息一聲，閉目等著北伐軍衝了進，
在得知自己九弟被俘之後，陳光遠腦中一陣眩暈，幾乎昏厥在地。
完了，這下什麼都完了。自己最倚重，翰軍中最勇猛的九弟都成了俘虜，衡山一丟自己後路被斷，該怎麼辦
而此時，衡陽正面的北伐軍第3435兩個師也開始發起總攻。
一聲聲的喊殺聲不斷傳到陳光遠的耳裡，一個個壞訊息也不斷傳了過來。局勢已經非常惡劣。
撤退
到了這個時候，陳光遠總算下定了決心：撤離衡陽沿衡南
安仁一線，進入醒陵，撤退
董錫成有些吃驚：督軍，既然到了安仁，完全可以撤到江西境內，為何還要去醒陵
你懂什麼陳光遠心煩意亂地道：我已經命令翰西鎮守使方本仁進入醒陵一邊防禦北伐軍，一邊準備接應我軍，醒陵不能丟啊
陳光遠的貪婪心態被張孝淮牢牢的把握住了。
如果這個時候陳光遠帶領主力，撤回江西那麼他的兩個師起碼還能保留下來一大半，但偏偏陳光遠卻捨不得醒陵
醒陵位置優越，古稱吳楚咽喉今為湘東門戶。是湖南呼應翰浙滬溝通大西南的交通要衝。
而且這個地方瓷業旺盛，經濟繁榮，藉著北伐軍進入湖南之機，陳光遠千辛萬苦的得到了這牟地方，要他放棄實在有些捨不得。
可是他做出的這個決定，卻讓他的兩個師的兵力遭遇到了滅頂之災
翰軍開始從衡陽撤離，拼命向衡南安仁方向撤退。而北伐軍的第3435師則一路緊追不捨，死死的咬住了翰軍。