就在公孫瓚自得意滿之時，劉虞的部下從事鮮于輔等人，悄悄集結幽州兵力，準備一起報復公孫瓚，爲劉虞報仇。

燕國閻柔，從小在烏丸、鮮卑做俘虜，後來得到胡人信賴，共同殺死護烏桓校尉邢舉，推舉閻柔爲護烏桓校尉。鮮于輔、齊周、鮮于銀等人因爲閻柔的名氣，推舉閻柔爲烏桓司馬。

閻柔招攬胡人、漢人聯軍數萬人，與鮮于輔等幽州兵共同進攻公孫瓚麾下漁陽太守鄒丹。鄒丹不敵，麾下四千餘人被斬殺，包括鄒丹自己，也被臨陣斬殺。

劉虞在世時，對胡人、漢人都是實行安撫政策。烏桓峭王感念劉虞的恩德，率烏桓、鮮卑等族七千多騎兵與鮮于輔合兵一處，共同迎接劉虞的兒子劉和來主持大局。

恰巧，袁紹派大將麴義征討公孫瓚。幾方聯合，十萬大軍奔赴幽州。

公孫瓚聽說幾方聯合十萬大軍，也是心中驚詫。不過，他向來自負，且勇力過人，根本就沒把對手當回事。當下聚兵點將：“諸君，今日傳來消息，麴義、劉和等人率十萬大軍奔我幽州而來，請諸君共同努力，擊潰敵軍。”

一聽十萬大軍，底下“嗡”地一下炸開了。

公孫瓚看大家議論不休，立即大怒：“衆位難道是害怕了嗎？你們是騎不動馬了，還是提不起矛了？跟個娘們兒似的，嘰嘰喳喳。”

衆人聽公孫瓚這麼說，趕緊表態，將來犯之敵殺個片甲不留。

雙方軍隊在幽州、冀州邊界屯駐，展開拉鋸。終於在興平二年，讓麴義給抓住機會，在鮑丘將公孫瓚的主力部隊給圍住。由於公孫瓚的自負，結果大敗虧輸，一仗下來，光是被斬首的就有兩萬多人，這還不算受傷、走失、投降的。

公孫瓚退回易京，在周圍開展屯田，以解決軍糧開支。麴義率領聯軍圍困易京一年多，也沒攻下來。可是，軍糧漸漸不支，士卒飢餓困頓，麴義只好暫時先退兵。公孫瓚趁機出城，打破麴義，將聯軍輜重全部俘獲。

點兒背的時候，喝水都塞牙。本來就兵敗困頓，偏偏又趕上大旱，蝗蟲遍野，百姓苦不堪言，出現人吃人的現象。這種情況下，公孫瓚竟然不是想著賑災、安民，而是繼續橫徵暴斂，侵略百姓。於是代郡、廣陽、上谷、右北平等各地，百姓紛紛揭竿而起，殺死公孫瓚任命的官吏，響應鮮于輔、劉和。

凡是州里有名望超過自己的士人，公孫瓚都會想方設法將其害死。平日所寵愛的手下，也多是一些地位低下、沒有能力的庸人。

公孫瓚常常擔心會有人對自己不利，就居住在高樓裡，用厚鐵板做門。左右不得隨便靠近，凡是七歲以上的男子，更是不得進入鐵門，樓上只有姬妾侍奉。凡是有公文、命令等文件，都是通過繩子上下傳遞。還命令婦女練習嗓子，大聲喊話來傳遞消息，數百步之內都能聽得見。

住進高樓中的公孫瓚已經不是從前雄心萬丈的白馬長史了，日漸疏遠麾下文武，再也不信任自己的兄弟。因此，麾下謀臣猛將，漸漸離心離德，有的甚至悄悄離開了。從此以後，公孫瓚也不再率軍出戰了，每日只在高樓中飲酒消愁。

終於，還是有忠志之士忍不住站了出來，向公孫瓚進言。請求公孫瓚振作起來，率領白馬義從，揚鞭疆場。

此時的公孫瓚，臉龐瘦削，鬍鬚蓬亂，面容衰老，眼神黯淡。斜斜的倚靠在榻上，瞥了門客一眼，悠悠說道：“昔日，我奔馳於邊塞，胡人喪膽；出兵孟津，黃巾逃匿。當時，我想著，平定天下不過是彈指間的事，指麾可定。可是，時至今日，戎馬多年，天下依然一片混亂。看來平定天下不是我能做到的，還是休兵罷戰，讓百姓還歸家園，努力耕種，以緩解災年。”

看門客還想勸解自己，公孫瓚擺擺手，繼續說道：“兵法有云，百座高樓的城池是沒法攻破的。我們衆多營地，高樓千里，儲存糧食三百萬斛，現在只需要堅守城池，坐看天下風雲變幻，將來以待天時。”

公孫瓚就這麼渾渾噩噩地過著，轉眼到了建安三年。袁紹給公孫瓚送來書信，想要跟公孫瓚和解。公孫瓚也不考慮一下自己的狀態和實力，直接沒鳥袁紹，反而增加防禦力量。袁紹看公孫瓚這麼不給面子，怒火難抑，於是興兵攻打公孫瓚。

袁紹大軍出發，一路向北。公孫瓚幽州軍最南端的橋頭堡被袁軍圍困，向公孫瓚發來求救。公孫瓚這會兒情商完全不在線，當著麾下衆文武的面說道：“現在一人有難，就向總部求援，如果立即去救的話，那麼以後大家遇事就向總部求救，不肯全力出戰。如果我們不去救的話，被圍困的將士就會互相勉勵，激發自我潛能，定能擊退來犯之敵。”本來就對公孫瓚這些年的表現不滿意的衆將，現在對公孫瓚更是失望。

袁紹攻破幽州軍的橋頭堡，率軍直抵界橋，包圍了公孫瓚在界橋的營寨。界橋守軍眼看不是袁軍對手，而公孫瓚又不肯相救，大家乾脆投降了事，還有一些直接逃跑了。袁紹大軍一路勢如破竹，直開到易京城下。

公孫瓚派兒子公孫續潛出城去，向黑山賊張燕等人求救。同時，準備率幽州突騎突出重圍，在西山紮下營寨，趁機斷袁軍後路。此時，長史關靖進諫：“現在將士心懷異志，將軍在城內，才能鎮住他們。並且，將士們一家老小都在城中，大家猜願意跟著你一起守城。如果將軍一旦出城，大軍立即瓦解呀。”

就這樣，袁軍日夜猛攻，公孫瓚用盡心力防守，捉襟見肘。光陰似炮彈，比箭快多了，倏忽間就到了建安四年春季，黑山張燕率十萬大軍分三路來救公孫瓚。