開大象二年（580年）六月，北周宗室中有實(shí)力的趙王宇文招、陳王宇文純、越王宇文盛、代王宇文達(dá)、滕王宇文逌都到了長安。相州總管尉遲迥自以爲(wèi)是北周的重臣宿將，看到楊堅(jiān)擅政心中不平，於是舉兵東夏。鄖州總管司馬消難、益州總管王謙相繼起兵響應(yīng)。趙、魏之士，跟從的人非常多，旬日之間，就聚集了十萬兵馬。又宇文胄以滎州、石愻以建州、席毗以沛郡、毗弟叉羅以兗州爲(wèi)根據(jù)地，都響應(yīng)尉遲迥。楊堅(jiān)命上柱國、鄖國公韋孝寬出兵打敗了尉遲迥，消滅了對自己有威脅的政敵。司馬消難南逃於陳朝，王謙也被殺死。楊堅(jiān)的這一勝利，穩(wěn)定了內(nèi)部的統(tǒng)治秩序。雍州牧畢王宇文賢及趙、陳等五王，看到楊堅(jiān)平定了尉遲迥之亂，威望大增，圖謀作亂。楊堅(jiān)捉拿宇文賢將其斬首，宣佈趙王等人的罪行，下詔五王劍履上殿，入朝不趨，來安定五王之心。接著便以謀反的罪名，先後殺掉了趙王宇文招、越王宇文盛、陳王宇文純、代王宇文達(dá)、滕王宇文逌等、清除了鮮卑族中的反對力量。同時又拉攏元諧、元胄、宇文忻等部分鮮卑貴族。這樣就使楊堅(jiān)集團(tuán)改朝換代的計(jì)劃，不再受到任何阻礙。
北周大定元年（581年）二月，楊堅(jiān)由隋國公晉封隋王。同月，北周靜帝以楊堅(jiān)衆(zhòng)望有歸下詔宣佈禪讓。楊堅(jiān)三讓而受天命，自相府常服入宮，備禮即皇帝位於臨光殿，定國號爲(wèi)“隋”，改元開皇，宣佈大赦天下。立王后獨(dú)孤氏爲(wèi)皇后，王太子楊勇爲(wèi)皇太子。降周主爲(wèi)介國公，五月，楊堅(jiān)派人害死宇文闡，諡號靜帝，葬於恭陵。皇二年（582年），隋文帝楊堅(jiān)以長安城“凋殘日久”，在城東南龍首山創(chuàng)建了一座新的都城，名叫大興城。城內(nèi)有東西二市，東市名都會，西市名利人。因系國都所在，“俗具五方，人物混淆，華戎雜錯。去農(nóng)從商，爭朝夕之利，遊手爲(wèi)事，競錐刀之末”，成爲(wèi)當(dāng)時最大的商業(yè)都市。隋文帝鑑於前此幣制的混亂，鑄造標(biāo)準(zhǔn)的五銖錢，禁用古錢和雜錢。五銖錢“所在流佈，百姓便之”，使貨幣得到統(tǒng)一。開皇時，又規(guī)定以古尺一尺二寸爲(wèi)一尺，以古鬥三升爲(wèi)一升，以古秤三斤爲(wèi)一斤，採冀州刺史趙煚所定的“銅鬥鐵尺”，頒行全國，度量衡也統(tǒng)一起來了。至於“除入市之稅”，“罷酒坊，通鹽池鹽井，與百姓共之”，這都有利於商業(yè)的發(fā)展。楊堅(jiān)平定叛亂之後，統(tǒng)一天下的對手只剩下南方的陳朝和位於江陵一隅之地的西樑。開皇七年（587年）九月十九辛卯日（587年10月26日），廢西樑後主蕭琮，西樑亡。開皇八年（588年），楊堅(jiān)以晉王楊廣出六合、楊俊出襄陽、楊素帶領(lǐng)水軍出永安，共五十一萬八千大軍，三路大軍伐陳。八年十二月楊素沿長江擊破陳的沿江守軍，順流而東。但因爲(wèi)施文卿、沈客卿等扣留告急文書，導(dǎo)致陳朝無法把大軍從建康調(diào)出。開皇九年正月二十甲申日（589年2月10日），陳將任忠引韓擒虎攻入建康城，捉住陳叔寶，陳朝滅亡。不久，各地陳軍或受陳後主號令投降、或抵抗隋軍而被消滅，只有嶺南地區(qū)受冼夫人保境據(jù)守。開皇十年（590年）八月，隋派使臣韋洸等人安撫嶺南，冼夫人率衆(zhòng)迎接隋使，嶺南諸州悉爲(wèi)隋地。統(tǒng)一全國後，楊堅(jiān)勵精圖治，開創(chuàng)了輝煌的“開皇之治”。結(jié)束了西魏宇文泰的鮮卑化政策，將被改成鮮卑姓的漢人大臣以及府兵將領(lǐng)（以及其所轄府兵）恢復(fù)漢姓。另外，廢除九品中正制，改爲(wèi)五省六曹制，後改稱五省六部制。
隋初經(jīng)歷南北朝長期的戰(zhàn)亂，民生疲弊困苦，故楊堅(jiān)接納司馬蘇威建議，罷鹽、酒專賣及入市稅，其後多次減稅，減輕人民負(fù)擔(dān)，促進(jìn)國家農(nóng)業(yè)生產(chǎn)，穩(wěn)定經(jīng)濟(jì)發(fā)展。楊堅(jiān)在位時代之富饒既非重?cái)快睹瘢科湓颍c全國推行均田制有關(guān)。此舉既可增加賦稅，又可穩(wěn)定經(jīng)濟(jì)發(fā)展，且南朝士族亦漸由衰弱至於消逝。均田制能順利推行，對隋前中期的經(jīng)濟(jì)發(fā)展收益甚大。加上隋代以關(guān)中作爲(wèi)本位，關(guān)中糧食短缺，需依賴關(guān)東漕運(yùn)接濟(jì)，故楊堅(jiān)於洛州等地設(shè)立常平倉等官倉，貯存關(guān)東運(yùn)來糧食，建廣通渠，便利關(guān)中漕運(yùn)。又於民間設(shè)義倉，人民捐納糧食以防兇年。自開皇九年（589年）統(tǒng)一天下後，以富國爲(wèi)首要目標(biāo)。輕徭薄賦以解民困。在確保國家賦稅收入之同時，穩(wěn)定民生。由於魏晉南北朝以來，戶籍不清，稅收不穩(wěn)。於是於開皇五年（585年）下令實(shí)行大索貌閱。並接納尚書左僕射高熲之建議，推行輸籍法，作全國性戶口調(diào)查，結(jié)果查獲沒有戶籍的百姓達(dá)165萬餘口，其中丁壯44.3萬人，以增加國家稅收，改善經(jīng)濟(jì)，盡掃魏晉南北朝以來隱瞞戶籍之積弊。此外，楊堅(jiān)安定政治，關(guān)隴集團(tuán)的支持功不可沒。漢人如鄭譯、劉昉、高熲等名臣有助推動國策。楊堅(jiān)亦因前朝酷刑甚多，影響民生，故命蘇威等人編纂《開皇律》，修訂刑律，訂立國家刑法，使人民有法可守，又減省刑罰，死刑只設(shè)絞、斬二等，以示隋朝對民之寬大。
開皇十三年（593年），下詔建仁壽宮於岐州之北，使楊素監(jiān)造。平山填谷，以建宮殿，規(guī)模很大。因督役嚴(yán)急，丁夫死者以萬數(shù)。開皇十五年（595年），仁壽宮修成。文帝到了那裡，看到宮殿十分壯麗，大怒道：“楊素殫民力爲(wèi)離宮，爲(wèi)吾結(jié)怨天下。”楊素聽了，很怕受處分。但獨(dú)孤後對這所離宮感到很滿意，文帝的態(tài)度也就變了。第二天召見楊素，賜錢百萬，錦絹三千段。楊堅(jiān)好猜忌苛察，容易聽信讒言，到了晚年更是濫殺大臣，虞慶則、史萬歲等功臣故舊先後被殺，此外，法制逐漸遭到破壞，用法“不復(fù)依準(zhǔn)科律”，頒佈諸如“盜一錢以上皆棄市”、“三人共盜一瓜，事發(fā)即死”之類的苛刻刑法，百姓惶恐。楊堅(jiān)還熱衷廷杖，“每於殿廷打人，一日之中，或至數(shù)四”。同時，楊堅(jiān)晚年頗受諸子的困擾。太子楊勇性寬厚，率意任情，無矯飾之行。他曾經(jīng)把蜀人所做的精美的鎧甲，再加裝飾，文帝看了很不高興。獨(dú)孤後又因太子妃元氏無寵，遇心疾而死，疑有他故，頗爲(wèi)不平，乃派人伺察太子過惡。而晉王楊廣則矯情飾詐，內(nèi)諂母后，外結(jié)朝士，特別是拉攏權(quán)臣楊素，積極進(jìn)行奪取太子地位的活動。隋文帝先是軟禁三子秦王楊俊；接著在開皇二十年（600年），將長子太子楊勇貶爲(wèi)庶人，改立次子楊廣爲(wèi)太子；又於仁壽二年（602年），將四子蜀王楊秀貶爲(wèi)庶人。
仁壽二年（602年）獨(dú)孤皇后去世後，宣華夫人陳氏、容華夫人蔡氏都受到楊堅(jiān)的寵愛。仁壽四年（604年），楊堅(jiān)患病住在仁壽宮，尚書左僕射楊素、兵部尚書柳述、黃門侍郎元巖都進(jìn)入仁壽宮侍疾。隋文帝楊堅(jiān)召楊廣入內(nèi)居崐住在大寶殿。楊廣考慮到如果楊堅(jiān)去世，必須預(yù)先作好防備措施，他親手寫了一封信封好，派人送出來詢問楊素。楊素把情況一條條寫下來回復(fù)楊廣。宮人誤把回信送到了楊堅(jiān)的寢宮，楊堅(jiān)看後極爲(wèi)憤怒。天剛亮，宣華夫人出去更衣，被楊廣所逼迫。宣華夫人拒絕了他才得以脫身。她回到文帝的寢宮，楊堅(jiān)奇怪她神色不對，問什麼原因，宣華夫人流著淚說：“太子無禮！”楊堅(jiān)憤怒，捶著牀說：“這個畜生！怎麼可以將國家大事交付給他！獨(dú)孤氏誤了我！”於是他叫來柳述、元巖說：“召見我的兒子！”柳述等人要叫楊廣來。楊堅(jiān)說：“是楊勇。”柳述、元巖出了楊堅(jiān)的寢宮，起草敕書。楊素聞知此事，告訴了楊廣。楊廣假傳楊堅(jiān)的旨意將柳述、元巖逮捕，關(guān)進(jìn)大理獄。他們迅速調(diào)來東宮的裨將兵士來宿衛(wèi)仁壽宮，宮門禁止出入，並派宇文述、郭衍進(jìn)入調(diào)度指揮；命令右庶子張衡進(jìn)入仁壽宮侍侯楊堅(jiān)。後宮的人員全被趕到別的房間去。隨後，楊堅(jiān)在大寶殿駕崩，在位23年，終年64歲，廟號高祖，諡號文皇帝，葬於泰陵（今天陝西省楊陵區(qū)城西5公里處）。