白崇禧身為軍事委員會副參謀總長，在戰略指導方針上始終持有不同看法。鑒于敵我力量懸殊，他不主張國軍與日軍在正面戰場硬拼。他建議將國軍兵力轉向敵后開展游擊，破壞其交通和后勤補給，襲擾和消耗日軍。7月26日，白崇禧從桂林致電蔣介石，呈述其戰略主張：對敵戰法應重加檢討，查岳陽至衡陽鐵路約342公里，水路約710公里，公路約720公里，敵軍10萬以上，補給不足，我于正面既不能擊破敵人及阻止敵人，擬請改變戰法，轉向敵后襲擊其輜重，破壞其交通，使敵饑疲無法持久。

而軍令部長徐永昌則認為，在目前國內外輿論交加貶議的情勢下，國軍唯有發憤拼命，打幾個勝仗，才能提高地位，扭轉國際觀感。徐永昌的意見大體上表達了蔣介石的心聲。而白崇禧轉向敵后開展游擊的戰略，可能對消耗敵人、與日軍展開持久抗戰切實有效，但難以在短期內起到對外宣傳的作用。蔣介石沒有接納他的建議。

第二階段的基本戰局是，以衡陽為中心，在湘江以東山區（湖南攸縣、茶陵、醴陵、安仁、耒陽和江西萍鄉、蓮花）和湘江以西的丘陵地區（寧鄉、湘鄉、永豐），永豐，今湖南雙峰。雙方展開了一場激烈的攻防戰。在這一階段的戰斗中，第十軍長達47日的衡陽守城戰最為壯烈，因而也最具影響。但衡陽守城戰只是第二階段戰局的一部分。衡陽周圍的增援和解圍戰，以及湘江東西兩翼的攻防戰，國軍不僅投入了相當多的兵力，而且戰斗亦十分激烈，牽制和消耗了日軍的大部分兵力。

8月8日衡陽淪陷后，白崇禧從桂林急電蔣介石，建議速將衡陽周圍的第四十六軍、第六十二軍調往桂林，并請將其他部隊大部撤至祁陽、零陵至桂林一線防守。從日軍的戰略意圖看，日軍占領衡陽后，必將迅速西進，攻取其下一目標桂林。白崇禧的這一部署顯然是正確的。蔣介石接電后，讓軍令部加以研討。而軍令部建議將主力部隊仍留在衡陽周圍繼續攻敵，其理由是：（1）前線撤兵，敵必跟蹤深入；（2）激戰之后，部隊急撤，有潰退之慮；（3）撤兵影響人心與盟軍觀感；（4）目前態勢，地理比較有利，利用現形勢打擊敵人，較退保桂林有利。軍令部還建議蔣介石將白崇禧調回重慶。蔣介石再次接受了軍令部的建議而否決了白崇禧的主張。8月10日，蔣介石電令各軍反攻衡陽。12日，蔣介石再次訓令各軍“以攻為守，并襲擾敵后方”。