自從曹操退兵以後，劉備便在小沛住了下來。要說劉備爲啥要住在小沛呢？首先，劉備已經是豫州刺史了，當然要住在豫州；第二，這裡離徐州彭城很近，能與陶謙守望相助；第三，小沛豫州、徐州、兗州交界之處，距離徐州、兗州邊界均不足五十里，地理位置優越，向南能掌控豫州，向西能威脅兗州，向東自然利於入主徐州。而陶謙同意讓劉備住在小沛，一則是二人可以互爲犄角抵禦曹操，二則是希望劉備作爲徐州的外圍防線。
劉備一邊在小沛厲兵秣馬、招攬人才，準備大展拳腳，成就一番事業，一邊盤算著如何在兗州、豫州、徐州這塊土地上分上一大塊兒蛋糕。運氣來了擋都擋不住，今年秋天曹操剛打完徐州回去，本就垂垂老矣的陶恭祖連嚇帶病，終於一命嗚呼了。都說知子莫如父，這陶謙對自己的兒子太瞭解了，就算沒有和曹操結仇，他們也守不住徐州的基業，更何況此時徐州已經亂成了一鍋粥。與其讓兒子繼承個爛攤子，將來被人殺死，不如做個順水人情，讓別人來保護自己的兒子。於是，陶謙在臨死之前對別駕糜竺說：“要想使徐州安定，只有劉備一人能做到。”
陶謙這邊剛死，糜竺便帶著州里大大小小的官吏來到了小沛，請劉備入主徐州，主持大局。要說劉備想不想擁有一州之地，當然想太像啦，可是劉備沉吟片刻，婉拒了，沒敢當時就答應。畢竟自己初來乍到，人生地不熟，不知道這些人是真心擁戴自己做首領呢，還是想把他架空做個傀儡呢？另一方面，自己手裡資本太薄了，不敢滿口答應。於是便對衆人道：“備初來乍到，對徐州未有尺寸之功，怎敢居於高位。且陶公有二子，理應繼承州牧之位。”
糜竺就不同意了，反駁道：“陶公生前就說過，兩個兒子都不能守住基業，唯有劉使君能安定徐州。且州牧並非爵位，哪兒有父子相繼的？”
劉備繼續推辭說：“袁公路就在壽春，離徐州近在咫尺，並且此人四世五公，海內無不歸心，可以讓他來接受徐州呀。”這裡出來一個詞，四世五公，大家都知道，老羅說過袁紹是四世三公，這裡怎麼又來個五公，啥意思？原來是說這袁家祖上，連著四代都在朝廷中擔任“三公”的職務，地位顯赫。袁術和袁紹的高祖父袁安在漢章帝時期當過司徒，曾祖父袁敞做過司空，祖父袁湯做過太尉，父親袁逢做過司空，叔父袁隗做過司徒。所以說，四世三公是說四代人擔任過三公的職務，四世五公是說四代人中有五個做過三公，都是一個意思。
典農校尉廣陵人陳登陳元龍站出來說：“袁公路驕奢淫逸，不是能夠平定亂世的人，現在，我們徐州給使君準備了十萬大軍，往遠了說，可以匡扶漢室，救世濟民，成就齊桓晉文一樣的五霸之業；往近了說，至少也可以稱霸一方，作爲一方諸侯，以後名揚史冊。今天這事，你聽也得聽，不聽也得聽。你可以不聽我們的，我們就一定會聽你的嗎 ”
這時候北海相孔融又出來湊熱鬧了，曹操都走了，陶謙也死了，他咋還沒走呢？不管了，先看他說些啥。只見這孔文舉搖頭晃腦、引經據典開導劉備：“玄德呀，怎麼淨說胡話，那袁公路是個什麼玩意兒，那傢伙是憂國憂民、爲國忘家的人嗎？依我看，不過是冢中枯骨而已，提他幹啥？今天這事，是徐州老百姓選擇了你，你做徐州牧是要替徐州百姓辦事的，而不是讓你爲了一人名利而做這個位置。過了這個村可就沒有這個店了，上天給你你不要，以後可就追悔莫及了。”
也不知道是因爲陳登來硬的，劉備無法拒絕，還是因爲孔融說的太有道理了，劉備要爲站出來爲徐州百姓辦事，或者劉備覺得大家都說的差不多了，臺階也夠了，要是再拒絕就顯得矯情了。反正，結果就是，劉備答應了，正式入主徐州，成了徐州的老大。
劉備既然成了徐州牧，那就要站出來說話了，首先招募賢良，徵辟北海人孫乾孫公祐爲從事，同時，籠絡泰山臧霸等人。
這孫乾說起來跟劉備還有那麼一點兒淵源，當初劉備拜盧植爲師，而盧植又和鄭玄是師出同門，而孫乾又是鄭玄推薦出來的，相當於有師生之誼。所以，劉備很是信任孫乾，經常派他出去做使者，聯絡工作，待遇僅次於糜竺，與簡雍同等。
臧霸字宣高，泰山人。他老爸臧戒年輕時候在縣裡做刑獄方面工作，太守想私下裡殺人，臧戒說根據刑法規定不可以殺。太守大怒，就派人將臧戒收押起來送到郡守府處置。當時臧霸十八歲，正式熱血上頭的年齡，帶領數十名夥伴，在半路上將老爹救了出來，逃亡到東海郡。後來黃巾賊叛亂，臧霸跟隨陶謙四處征戰，被封爲騎都尉。等有了資本，臧霸便處於半獨立狀態，聽調不聽宣，和孫觀、尹禮、吳敦等人屯兵開陽。
劉備剛做了徐州牧，消息一傳出去，立即惹惱了一個人，便是之前提到的袁術，袁公路。袁術年少時便是飛鷹走狗的紈絝子弟，長大後更是仗著家世顯赫，目中無人，總認爲自己是天下最尊貴的人，天下人都應該以自己爲中心，世間一切都應該歸自己所有；同時又瞧不起天下所有人。這傢伙自大到真麼程度呢，看到各路英雄豪傑都歸順袁紹而不跟從自己，竟然說：“這些瞎眼的傢伙，跟從我家的奴僕而不跟隨我。”還跟公孫瓚寫信說袁紹不是袁家後人。聽說有讖書中講：“代漢者當塗高”，就認爲應在自己身上，說自己有天子名，當取代漢朝。關於讖語，袁術是這麼理解的：塗，通途，指道路，而他的名字術正好有路的意思，他的字又是公路（幸好當時沒有鐵路、飛機跑道，不然不知道他還有什麼樣的字，哈哈哈），正好應了讖語。後來果然稱帝，當然，結局也是悲慘的。
依袁術這妄自尊大的性格，一聽說劉備佔了徐州，立即火冒三丈，他劉備一個織蓆販履之徒，竟然佔據大州，妄稱諸侯，就憑他也配？於是，不管三七二十一，發兵征討劉備，徐州是我的！