日軍以爲在長沙會戰中，已經將國軍第九戰區的防禦系統，予以徹底的擊潰。雖然沒有圍殲中國的主力兵團，但是中國軍隊在受到重挫之後，已失去再戰的能力，對於日軍進行長距離奔襲衡陽的作戰，橫山勇中將更以爲把握十足。
事前，衡陽在日機猛烈的轟炸之下，衡陽市區已成一片焦土，因此橫山勇中將認爲，日軍可以出其不意地迅速攻佔衡陽，但是，橫山勇中將沒有想到，由方先覺將軍所率領的中國第十軍，卻在衡陽進行一場驚天動地的陣地保衛戰，差點把橫山勇中將的完勝攻勢，搞成悽慘的大敗仗。
由方先覺將軍所率領的第十軍，是一支作戰表現出色的部隊，曾在長沙與常德的會戰中，與日軍進行多次正面的惡戰，有著非常優異的表現。
參與衡陽防衛作戰的中國軍隊部隊，還包括了
預十師，師長葛先纔將軍。
第三師，師長周慶祥將軍。
第一九〇師，師長容有略將軍。
暫編第五十四師，師長饒少偉將軍。
第十軍在奉命防禦衡陽之後，立刻在衡陽地區，利用山嶽與河道的複雜地形，開始構建防禦工事，此時美軍在桂林的步兵訓練中心，感到戰局的發展不利，因此奉命撤退，因此將一批帶不走的美軍訓練用裝備，交給第十軍使用
。
當時方先覺將軍根本沒有想到，湖南的戰局會惡化的如此之快，自己的部隊要孤軍防守衡陽四十二天，血戰到彈盡援絕的崩潰地步，這也是抗日戰爭中，中國部隊被日軍全殲的唯一軍級單位。
由於薛嶽將軍把第九戰區的殘餘的部隊，集結在湖南與江西交界的一帶，企圖等日軍深入之後，反擊日軍的側後，但是薛嶽的這個佈陣，卻遭到日軍主力兵團向東旋轉的多路圍攻，因此不但無法發揮側翼包抄日軍的效用，反而讓南方的衡陽陣地，出現兵力支持分配不足的危機。
日軍在攻佔長沙的同時，橫山勇對衡陽發動長距離的奔襲突擊，日軍第六八師團，師團長佐久間爲人與一一六師團，師團長巖永汪，沿著湘江東西兩岸，分途包抄衡陽。
第六八師團的決死突擊隊，在六月二十六日半夜，攻佔了美軍在華最大的空軍基地衡陽機場，得到了日皇親自的傳令嘉獎。六月二十八日，日軍奔襲衡陽的兩個師團，對衡陽完成鉗形包圍，同時日本飛機對於衡陽守軍的陣地，進行毀滅性的地毯式轟炸。
日軍認爲單是這樣的打擊，以及優勢的兵力與火力，衡陽已是日軍的囊中之物。但是橫山勇萬萬沒有想到，鎮守衡陽的第十軍，陣地被毀，戰志依然不爲所動。中國軍隊對日軍展開猛烈的反擊，造成日本六八師團長佐久間爲人受到重傷，日軍的攻勢爲之受挫。
橫山勇沒有一舉攻下衡陽，甚至造成東京的震動，因爲此時東京的最高軍政負責人首相東條英機，他身兼總參謀長、陸相、軍需大臣，已經岌岌可危，面臨著辭職的壓力，他需要日軍更大的勝利消息，才能支撐他的地位。
因此他透過私人親信作戰部長真田穰一郎少將，到達武漢，直接向中國派遣軍施加壓力，派遣軍總司令佃俊六更是急得不斷催促橫山勇，以最快速度攻下衡陽，並且加派參謀長鬆井久太郎，直接到達衡陽前線，對衡山施加壓力。
這時橫山勇知道，自己在衡陽是遇到對手了，必須要小心應付。因此他在重大的壓力之下，調集所有的兵力，圍攻衡陽，他準備把衡陽當成決戰地點，企圖以圍點打援的方式，吸引薛嶽在湖南東部的部隊前來支持，然後日軍再發動多重包圍，一舉圍殲第九戰區的主力部隊。
不料日軍第二度的攻勢，仍然無法得到明顯的進展
。中日兩軍在衡陽陣地爭奪戰中，陷入了肉搏力拼的階段，雙方在充滿血水的壕溝之中廝殺。每天都在焚燒腐爛的屍首，以防止瘟疫的發生。
但是日軍對衡陽的攻勢，只推前了兩公里，仍然被第十軍給擋住了。到了一九四四年七月，衡陽之戰，不但是中日主要戰場的決戰，更是發展成爲中日兩國內部的政治戰。
對於蔣介石與東條英機而言，衡陽作戰的勝負，都關係到自己最高軍政領導權的掌控。
那是因爲在七月七日，美國總統羅斯福，親自向蔣介石提出，要求蔣介石將指揮權交給史迪威，以挽回中國戰場的敗局。
因此，除非蔣介石能夠證明，他能指揮中國軍隊擊敗日軍攻勢，否則蔣介石將要面臨美國孤立、外援中斷，以及部屬叛變的危機。
而日本首相東條的情況，同樣需要戰勝的消息來支持，否則日本的軍政領袖，已經對於他的領導與政策失去信心，東條將會被迫辭職。
但是在爭取這場決戰的指揮上，蔣介石無法把最有戰力的部隊，從緬甸戰場調回，因爲這是史迪威爭取中國軍隊指揮權的本錢，史迪威使用優勢兵力，在緬甸獲得勝利。
而同一時候，蔣介石在華南卻遭到日軍猛烈的打擊，所以羅斯福認爲，這足以證明蔣無法應付日軍的攻勢，而史迪威有能力指揮軍隊打敗日軍。
在日本方面，東條英機則是將所有的軍力，包括抽調關東軍的二十軍，以及日本本土的四十七師團，都投入了湖南的戰場。
可是日軍仍無法在七月攻下衡陽，同時日本又在緬甸與塞班島遭到慘敗的打擊，日皇裕仁已經對於戰局感到震動，東條在元老重臣集體的施壓下，只有被迫辭職下臺。
蔣介石此時急切希望能夠解衡陽之圍，至少能夠救出第十軍，但是，薛嶽已無兵力馳援衡陽，因爲他手邊只剩下有限的殘兵，退到湖南江西邊界集結，又得不到兵力與裝備的補充。
不過在七月中旬，薛嶽仍然設法從湖南、江西的邊界，對日軍的後方發動側擊。雖然這種攻擊對於日軍進攻衡陽的補給線造成壓力，但是薛嶽的兵力不足，攻擊位置又遠離衡陽，因此無法對日軍造成真正的威脅，對於衡陽的守軍，更是沒有多大的幫助。