而在其一生輔助劉邦稱帝的基業中，最出名的莫過於下邑奇謀了。據記載，前205年春，劉邦接連收降常山王張耳、河南王申陽、韓王昌、魏王豹和殷王卬五個諸侯，得兵56萬。同年四月，劉邦乘項羽集中力量攻打田榮之機，率兵伐楚。直搗楚都彭城。攻佔彭城後，劉邦被這輕而易舉得到的勝利衝昏了頭腦，不但沒有采取恰當的政治、經濟措施，安撫此地，贏得人心，反而惡習復發，得意忘形之餘大肆收集財寶、美女，整日置酒宴會，結果給項羽回軍解救贏得了時機。項羽聞知彭城失陷，立即親率3萬精兵，從小路火速趕回，急救彭城。劉邦數十萬烏合之師難以協調指揮，連糧餉都籌備不齊，所以一經接戰，便遭慘敗，幾乎全軍覆沒。至此，許多諸侯王又望風轉舵，紛紛背漢向楚，劉邦丟下老父、妻子、兒女，只帶張良籌數十騎狼狽出逃，軍事上再度遭受重大挫折，大好的形勢復又逆轉。
劉邦狼狽逃至下邑，驚魂未定，心灰意冷，萬念俱灰。他沮喪地對羣臣說：“關東地區我不要了，誰能立功破楚，我就把關東平分給他。你們看誰行？”在此兵敗危亡之際，又是張良匠心獨運，爲劉邦想出了一個利用矛盾、聯兵破楚的策略。他說：“九江王英布，是楚國的猛將，現在與項羽有了隔閡；彭城之戰，項羽令其相助，他卻按兵不動。項羽對他頗爲怨恨，多次派使者責之以罪；彭越因項羽分封諸侯時，沒有受封，早對項羽懷有不滿，而且田榮反楚時曾聯絡彭越造反，爲此項羽曾令肖公角攻伐他，結果未成。這二人可以利用。另外，漢王手下的將領，只有韓信可以委託大事，獨當一面。大王如果能用好這三個人，那麼楚可破也。”這就是著名的“下邑之謀”。
劉邦聽罷，認爲這確是一個以弱制強的妙計，於是派舌辯名臣隋何前往九江，策反九江王英布；接著又遣使聯絡彭越；同時，再委派韓信率兵北擊燕、趙等地，發展壯大漢軍力量，迂迴包抄楚軍。
“下邑之謀”雖然不是全面的戰略計劃，但它構成了劉邦關於楚漢戰場計劃的重要內容。正是在張良的謀劃下，一個內外聯合共擊項羽的軍事聯盟終於形成，扭轉了楚漢戰爭的局勢，使劉邦由戰略防禦轉爲戰略進攻。事實證明了張良“下邑之謀”的深謀遠慮，最後兵圍垓下打敗項羽，主要依靠的正是這三支軍事力量……而在劉邦打敗項羽，稱帝高祖之後，張良便多次託辭多病，閉門不出。隨著劉邦皇位的漸次穩固，張良逐步從“帝者師”退居“帝者賓”的地位，遵循著可有可無、時進時止的處事原則。在漢初劉邦翦滅異姓王的殘酷鬥爭中，張良極少參與謀劃。在西漢皇室的明爭暗鬥中，張良也恪守“疏不間親”的遺訓，深悟“狡兔死，走狗烹；飛鳥盡，良弓藏；敵國破，謀臣亡”的哲理，懼怕既得利益的復失，又害怕韓信等人的命運落到自己身上，遂自請告退，退隱黃袍山。
據記載，其在退隱黃袍山期間曾修建“良山道觀”，在道觀不遠處創辦“伐桂書院”，以授當地孩子文字。《仙傳擡遺》裡則記載其曾遇黃石公授書，讀後便能應機權變，輔佐漢高祖劉邦平定天下。還以此修之於身，能煉氣絕粒，輕身羽化。與綺裡季、東園公、甪里先生、夏黃公，爲雲霞之交。後解形於世，葬龍首原。赤眉軍起義，有人發其墓，但見黃石枕，化而飛去，不見其屍形衣冠，得《素書》一篇及《兵略》數章，被後世道門中人稱爲“凌虛真人”，而其八世孫張道陵，亦是道界名人，被後人稱爲張天師。
當然……以上種種只是正史之中對於張良的記載，而在野史之中，也就是道教不傳的秘史之中，則對於凌虛真人張良有這麼一段記載。
據記載，這張良張道人隱居黃袍山之後，修建“良山道觀”，道觀不遠處創辦“伐桂書院”，以授當地孩子文字（這一點和正史記載的一模一樣）。而在黃袍山山腳，則有一個黃牛村，村子十多口人，原本是個小村莊，也沒什麼名字，後來全村根據唯一的一頭老黃牛起了個名字，就叫黃牛村。
村裡有個壯小夥，姓李，名牛蛋，早年跟隨過劉邦劉高祖的麾下，作爲軍隊的一名炊事員默默無聞，後來天下初定，政通人和，李牛蛋卸甲還鄉，回到村裡繼續種地。而張良張道人隱居黃袍山之後，李牛蛋作爲炊事員且和軍長成爲了鄰居，自然時常有事沒事的多走動走動，一來二往的，這牛蛋漸漸成爲了張良的坐下客卿。也是這張良明白事理，不低看牛蛋一眼，要是換個人，一個軍隊裡的伙伕天天往自己這個退伍軍長的家裡跑，真以爲自己和你人人平等啊？
而在這一來二往之中，張良和李牛蛋的情誼，也是漸漸變得深厚了起來。原本鬥字不識的李牛蛋，更是在張良的教導中開始研習起了四書五經，甚至連岐黃之術都開始了一些涉獵。雙方就這般平靜的過了一段安穩日子，直到後來，也就是李牛蛋剛剛當上私塾裡的教書先生，張良突然將他叫到了身邊，高淡闊論的交代了一番，意思就是我要成仙逍遙去了，村子和百姓就交給你了云云。臨走之前，還將一個錦囊親手交給了牛蛋，千叮萬囑要其在走投無路的情況下才能打開......（古代的謀士一般都有這種尿性，喜歡裝神秘。）
而在交代完這一番之後，張良便駕著祥雲，隨仙人云遊而去，留下李牛蛋一人，在黃袍山“蠟炬成灰淚始幹”。可惜張良走後沒多久，整個黃牛村，或者說整個黃袍山，就開始相繼發生了一些十分詭異的變化......首先是黃袍山的樹，在張良走後，這些樹木開始漸漸蒼老，大夏天的枝繁葉茂竟然開始一點點的掉葉子，掉葉子也就算了，掉了沒多久，整座山的樹竟然一根接著一根開始蒼老死去，樹皮都幹得能用手扳斷了。
起初黃牛村裡的村民並沒有當回事，知道後來，隨著一棵樹接著一棵樹的相繼死去，村裡的人，纔開始漸漸重視起了這種現象。