太平軍攻城一天毫無進展，馮雲山前來拜訪李雲中，希望借點炸藥用於炸燬城牆，李雲中派爆破營跟著馮雲山去了，兩個時辰後，爆破營就回來了，原來桂林城下全是巖石什麼的，挖不動。

9月8日，一路尾隨追擊太平軍的廣州副都統烏蘭泰率軍到了桂林南郊的將軍橋。遠遠看到烏都統的旗幟，桂林城樓上的向榮心裡高興啊，暗想這下有救了。

李雲中命令第二軍前去截擊，張遂謀用了在永安城繳獲的前膛炮，一炮就炸傷了跑在最前面烏蘭泰的大腿，後面跟著往前衝的粵軍嚇得掉頭就跑，只留烏蘭泰一個人在橋上呻吟，掙扎著向後面爬，留下一條觸目驚心的血跡。張遂謀看著烏蘭泰身穿官服，叫人把他擡了下去，因傷勢過重而死。

這一幕，讓在城上的向榮看的心拔涼拔涼的，也讓龜縮在桂林城內的清軍陷入了深深的恐懼當中，太平軍士氣大振，攻起城來越發猛烈於是乎，在陣陣硝煙掩護下，太平軍衆將士架設雲梯，頭頂用溼棉花包紮好的方桌，奮勇攻城，就連婦女、兒童都在一旁吶喊助威。9月15日，西門、南門、文昌門激戰不斷。18日，太平軍在象鼻山架起豬仔炮轟城，知府衙門中炮，嚇得知府躲進了水東門附近的會館之中，向榮看著不少官兵偷偷的往後縮，趕緊激勵士氣，大聲喊道：“城上的官兵每人每天賞銀一兩，殺賊寇一人，賞銀五兩。”守城清軍當真眼紅了，他們大多是一幫窮苦百姓，是被強逼上來，迭施槍炮、火罐、滾木、擂石，還有潑開水、燙粥、滾油。一時間城內城外炮聲隆隆，響震山谷。

太平軍將主力六千人沿西門、南門、文昌門外一線紮營，形成了對省城桂林的半月形包圍。期間幾次命令、邀請李雲中一起攻城，都被回絕，只得到不讓清妖援軍靠近城池一步的承諾

9月20日，清軍屢次受挫後，又從湘、黔、川、豫、滇、閩、粵、徽、蘇、桂等十省調來了三萬多援兵，企圖將太平軍聚殲於桂林城下，李雲中率全軍先一步到達灕江北岸，並勸太平軍撤退，李雲中趁清軍立足未穩，發起攻擊，率先攻破清軍前鋒，潰兵又朝大營衝去，清軍大營變得混亂起來，連輜重都拋棄掉，倉皇逃跑。李雲中領大軍繼續向北，直奔廣西最北邊的全州，傍晚全軍就抵達全州城下，李雲中命人在城下紮營，也不攻城，全州城高牆厚，又窮又沒有戰略價值，李雲中也不想白費功夫。

全州知州和知縣在城內可擔驚受怕一夜，毒藥都準備好了，城內只有600守軍，就算強行徵發百姓，也不過2000餘人，城下有幾萬反賊，不用幾天，就得被破城。

向榮站在城牆上看著援軍陸續進城，躊躇滿志，太平軍連夜倉皇逃竄，如此大功，不知朝廷如何獎賞，越想越是興奮，提督已是一品官，恐怕是要晉封爵位和虛銜，太子少保？哈哈。

賽尚阿聽說太平軍正在攻打桂林，立即從永安移營荔浦，一天後由荔浦移營陽朔，賽尚阿坐擁重兵30000人，賴在陽朔壽陽書院，距省城130多裡，就是不敢親自回省城指揮作戰，並一再以“身體多病”上奏，希圖推卸責任。直到9月26日才從陽朔到桂林，那時太平軍已撤離桂林一個星期了。

江忠源可謂對賽尚阿失望之極，畏敵卻戰、推諉責任……聽說太平軍已從桂林移師北上，進軍湖南，生怕他們回去禍害新寧，也不請示賽尚阿就帶著楚勇追趕太平軍。

“聖旨到”向榮興奮的看著前來傳旨的太監，率桂林官員跪下接旨。

只聽那太監念道：“向榮有負聖恩，畏敵卻戰、謊報戰功，將其革職，貶爲庶民，容許其在軍中戴罪立功。”

精力俱疲的向榮只聽得心灰意懶，待太監唸完聖旨，他連聖旨都忘接了，步履蹣跚的走到屋裡收拾東西，準備回家養老。

張國樑追上去，扶住向榮，道：“軍門，你沒事吧，這朝廷是怎麼了，有功的不賞，貽誤戰機的也不罰。這還讓我們怎麼剿匪。”

向榮喝道：“閉嘴，朝廷是你可以誹謗的，這必定是小人在皇上面前進了讒言，你要留在軍中好好的效力。”

“那你這是要……”張國樑看著心灰意冷的向榮問道。

向榮拍了下他的肩膀，擺了擺手，不理愣在原地張國樑，走開了。

李雲中趕到蓑衣渡，只見河水深不見底，將收集來的船隻運送將士過河，待全軍過河後，船隻被太平軍先鋒接管。

自從秦始皇下令修建靈渠，溝通湘江和灕江之後，湖南和廣西就相互影響了，特別是兵荒馬亂的時候，義軍在省內站不住腳的時候，就往鄰省殺去。

大軍一進入湖南，就進入零陵府的地界，零陵府知府見大軍圍城，，軍隊都被調往廣西去了，城內只有300守軍，趕緊打開城門，魚竄鳥飛，朝衡陽逃去。

這讓李雲中驚喜交集，自起兵以來，還沒見過守城將領棄城而逃的情景，看來湖南並周邊幾省的軍隊都被調往廣西去了。李雲中在零陵府成立大漢政府，自任漢王，打出“驅除韃虜，恢復中華”的政治口號，並要軍隊每到一地就宣佈“耕者有其田，免稅三年”的口號。

第一軍向道縣進攻，第二軍向桂陽方向行軍，李雲中率第四軍和剩下的人暫時留守零陵府，考慮下一步的計劃，以及打聽太平軍的情況。

駐守在道州的湖南提督餘萬清見大漢軍來攻，趕緊的帶著家人逃竄，第一軍兵不刃血的就佔了道州。

桂陽州知州李啓韶平時魚肉百姓，無惡不作，聽聞大漢軍要來了，驚恐無比，拋棄城池，帶著搜刮的錢逃亡鄉下，每逃到一地，就聽聞大漢軍將至，親眼看見百姓自發前往迎接的情景，他急中生智，想到古代棄物止追的故事，把金銀財寶仍了一路，當他逃到玗鎮時，當地百姓突然喊道：“賊來了！賊來了！”，嚇得知府大人，以爲大漢軍追來了，爲免受辱，跳進河中自殺了。

道州與桂陽當地很多挖煤工人加入大漢軍，李雲中見他們對挖地道很擅長，就將他們編入爆破營，並擴編爲爆破團，全團四千人，既能作戰又能在攻城時爆破城牆。

李雲中從當地官員口中得知長沙兵力空乏，城牆也好久沒有維修，並不堅固，當即孤注一擲，命全軍放下所有地盤，立即全速向長沙殺去，沿途有不少天地會的人要求加入，李雲中沒辦法，只能讓熟悉天地會的蘇三孃的第四軍沿途收留，他帶領童子軍，匯合第一軍，星夜兼程的朝長沙趕去。

駱秉章萬萬沒想到，自己會在這種情況下與自己的小老鄉兵戎相見，他的心七上八下,一會兒，又發狠的想：洪秀全你只不過是一個落榜秀才，花縣的叛逆後生，竟敢和我這位堂堂的大清進士老前輩較勁，我知道我是你嫉妒恨的目標，你這樣做，不是逼著我和你拼命嗎，我不爲自己的前途著想，也得爲自己在家鄉人面前爭點面子，要不然以後誰還願意讀書考進士。