阿巴泰以爲這些巴牙喇會在噶爾圖的煽動下學漢人玩兵諫那一套，手握住了刀柄，隨時準備暴起傷人。他是正藍旗的小旗主，地位僅次於豪格，是這些人的主子，以後金等級森嚴的階級劃分，這些巴牙喇雖然能打，卻無論如何不敢向他真的動手，只要拔刀砍翻一兩個，餘下的自然就會慫了。
不料，噶爾圖“撲通”跪在了地上，餘下的牛錄章京和巴牙喇也呼啦啦跪了一地，把阿巴泰嚇了一跳。
“貝勒爺，請你下令撤兵吧！這裡畢竟是明國腹心之地，明軍再無能，四面八方調集軍隊把咱們團團圍住，再加上這個什麼堅壁清野的招數，就算打不過咱們，也能把咱們活活拖死。咱們大金的勇士不怕死，可是要死也要在戰場上死得轟轟烈烈，不能被活活餓死啊！”噶爾圖哀求道。
那些牛錄章京和巴牙喇也齊聲說：“請貝勒爺下令撤兵！”
阿巴泰這才反應過來，諫倒是諫，不過不是兵諫，是苦諫。他們這麼異口同聲，只怕私底下已經商量過了。包括噶爾圖在內，這些牛錄章京和巴牙喇是正藍旗的核心人員，軍隊的管理、戰鬥的指揮都是靠他們。如果他們無心戀戰，自己再怎麼一意孤行，這仗也沒法打下去了。
噶爾圖見阿巴泰沉默不語，知道他內心動搖了，趕緊趁熱打鐵，膝行兩步，抱住了他的小腿，繼續哀求：“貝勒爺，我知道您想給大金除去一個厲害的對手，免得將來再出現第二支浙兵或者白桿兵。可是消滅這支奇怪的明軍，不是您一個人的事，也不是正藍旗一家的事，是整個大金的事！您一個人扛起來，太辛苦了，到時候把自己的本錢都填進去了，變成了孤家寡人，誰又會體諒您的苦心呢？大汗和那些議政的親王、郡王們不落井下石就不錯了。”
最後一句話深深刺痛了阿巴泰。他最大的心病就是政治地位與自己的戰功、年紀、資歷不匹配，不要說與繼承了汗位的皇太極相比，連那些年幼的弟弟甚至侄子都遠遠超過了自己。
年僅二十四歲的十四弟多爾袞現在已經是和碩睿親王，正白旗旗主，掌管吏部；二十二歲的十五弟多鐸已經是豫親王，鑲白旗旗主，掌管禮部；豪格就更不用說了，雖然輩分上是自己的侄子，卻是正藍旗的旗主，自己的頂頭上司，還被封爲和碩肅親王，掌管戶部。而自己快五十歲的人了，連個和碩的封號都沒有，只在貝勒前加了個“饒餘”（滿語富饒之意）遮羞，每逢皇太極賜宴，自己只能和比自己兒子年紀還小的小貝勒們坐一起，臉面都丟盡了。
關於圍困棱堡，阿巴泰雖然也有些私心，想多撈取些功勞，但是爲了給大金解除後患還是最主要的原因。聽了噶爾圖的話，他心想：就是啊，自己連上殿參與議政的資格都沒有，幹嗎要爲了這支明軍把自己也搭進去？就算這夥人將來比白桿兵、浙兵更厲害，天塌下來自有皇太極和那些親王、郡王頂著。就算這麼撤走，回去後可能會被責罰，但是隻要自己手裡還有幾個牛錄，就算降爲貝子，也比沒兵的光桿貝勒強。
他遲遲沒有吭聲，噶爾圖卻以爲他還在猶豫，分析完利弊後，又打起了苦情牌：“貝勒爺，這次入關，咱們已經搶了不少好東西，也虜獲了不少丁口，該知足了，英雄就讓武英郡王他們去當吧！福晉還在家等著您呢，我阿瑪也等著我多帶些包衣回去呢！”
阿巴泰長嘆一聲，鬆開了握住刀柄的手，無奈地說道：“話都被你說到這份上了，我還有什麼話可說？下令撤兵吧！”
衆人大喜，齊聲道：“貝勒爺英明！”
這支大軍除了阿巴泰，所有人都不願意再和這座奇怪的石堡和裡面的明軍再耗下去，他們只想帶著搶來的財物和丁口順利返回關內。
命令一下，全軍歡欣鼓舞，立刻收拾東西，拔營撤離。雖然所有人都歸心似箭，但是多年征戰的經驗和嚴明的軍紀讓一兩萬人的大軍撤退秩序井然，前隊變後隊、後隊變前隊，輜重和丁口、牲畜在前，大軍在後，有條不紊地沿著來路往青州、濟南方向撤退。
在牆頭巡視的蘇粗腿看到了這一幕，跳了起來，喊道：“韃子撤了！”
駐守在各段城牆和凸角上的士兵們都歡呼起來：“韃子撤了！”
歡呼聲驚動了林偉業等人，他們趕緊登上城牆，用望遠鏡查看。只見對面旌旗搖動，煙塵滾滾，大批騎兵護送著輜重車隊緩緩遠去，看起來是真的撤退了。
林偉業生怕有詐，把馬威叫來，問道：“我們之中和韃子打過交道最多的就是你了，以你的經驗，韃子這是真撤還是虛晃一槍玩假撤？”
馬威用望遠鏡仔細查看一番後，肯定地回答：“大人，韃子這是真撤。他們把糧草、輜重和丁口都放在前面，軍隊在後，想玩回馬槍都不行了——糧草都不在了，他們難道餓著肚子和咱們拼命？”
林偉業這才徹底放下心來，對馬威說：“趕緊派騎兵回登州報信，告訴謝巡撫，韃子撤了。”
馬威應下，從騎兵營點了幾個年輕騎術好的，趕回登州報信。
正藍旗的大軍在阿巴泰的率領下，從北直隸直插登州，與獨立團發生遭遇戰，攻城受阻然後圍困，前後歷經十三天，終於在第十四天撤兵了。撤退的主要原因是這支以搶劫爲目的的軍隊沒有通過圍城得到好處，反而損兵折將，上上下下都萌生去意，阿巴泰雖然是統帥，卻也無法違背全軍的意志。不過讓阿巴泰這麼快下定決心的，還是夏天南的這招堅壁清野，這是壓垮這支後金軍隊信心的最後一根稻草，否則的話，圍城可能還會持續幾天，一直到沒有糧草堅持不下去爲止。
棱堡的城門打開，幾名騎兵衝了出來，風馳電掣般往登州而去。