1583年9月10日，利瑪竇與羅明堅進入中國，求得知府王泮的允許，在崇禧塔旁修建了一座帶有教堂的小房子，在肇慶建立了第一個傳教駐地，利瑪竇出版了第一份中文世界地圖，並用中文和羅明堅起草了第一部《祖傳天主十誡》。經過了幾次嘗試，利瑪竇和羅明堅沒能建立起新的駐地，羅明堅被教皇召回羅馬安排教皇使節去見中國皇帝，而利瑪竇和麥安東神父繼續留在肇慶。
1584年利瑪竇獲準與羅明堅神父入居廣東肇慶。他們對中國官員自稱來自“天竺”，致使中國人以爲他們是佛教徒。利瑪竇解釋來中國的原因：“我們是從遙遠的西方而來的教士，因爲仰慕中國，希望可以留下，至死在這裡侍奉天主。”他不敢直接回答傳教的目的，否則他可能會被驅逐。爲了傳教，他們從西方帶來了許多用品，比如聖母像、地圖、星盤和三棱鏡等。其中還有歐幾里德《幾何原本》。利瑪竇帶來的各種西方的新事物，吸引了衆多好奇的中國人。特別是他帶來的地圖，令中國人眼界大開。
進入了中國的利瑪竇對中國文明非常稱讚：除了還沒有沐浴“我們神聖的天主教信仰”之外，“中國的偉大乃是舉世無雙的”“中國不僅是一個王國，中國其實就是一個世界。”他感嘆“柏拉圖在《共和國》中作爲理論敘述的理想，在中國已被付諸實踐。”而且他還發現中國人非常博學，“醫學、自然科學、數學、天文學都十分精通。”但是他也發現“在中國人之間科學不大成爲研究對象。”
1584年8月，利瑪竇在肇慶建立了“仙花寺”，開始傳教工作。起初傳教十分低調。神父們行事小心謹慎，主要精力都在學習漢語和中國的禮節習俗，以博得中國人尤其是官員們的信任。他們身穿佛教僧侶的服飾，認爲這樣能夠博得人們的好感，而且他們也覺得這與天主教神父的裝束相差不大。這也使中國人更加相信他們是遠道而來的僧人。他們在這裡掛上了聖母瑪利亞的畫像，許多士人官吏，甚至僧人都來跪拜，他們感到非常興奮。但是從中國人的角度來講這更多是出於禮節性的，而沒有宗教意義。也有記述說，他們擔心中國人看到瑪利亞的畫像會誤認爲他們的神是女性的，而改掛了基督像。
1584年利瑪竇製作並印行《山海輿地全圖》，這是中國人首次接觸到了近代地理學知識。利瑪竇利用解釋各種西方事物的機會，同時介紹了他們的天主教信仰。他們翻譯了《十誡》、《主的祈禱》、《聖母讚歌》和《教理問答書》。並派發羅明堅撰寫的《天主實錄》，以中文解釋天主教的教義。利瑪竇在肇慶居住六年，除帶來了歐洲文藝復興的成果外，系統地學習了中國傳統文化，期間傳入的現代數學、幾何、世界地圖、西洋樂等西方文明。
1589年夏天，即萬曆十七年，廣東新任總督把傳教士驅逐出肇慶。1590年，利瑪竇奉範禮安之命起草一封以教宗名義致大明皇帝的信札，其中亦稱教宗西師都五世(1585-1590)乃居住在“天竺國”的“都僧皇”，因期盼能傳“天主正教”，“推廣慈悲，普濟世人”，特遣“博雅儒僧”四出揚教，並派“德行頗優，儒文宏博”的“上僧”等四人入華，希望明帝能對此四僧“給有札牒，沿途迎送，以華其行”。經過多方努力，利瑪竇得以被派往韶州，在那兒他建立了第二個傳教駐地。在韶州的時候，利瑪竇遇到了一次意外。他們遇上了強盜打劫，雖然利瑪竇受了一點傷，但是幸好他們嚇退了強盜，而且很快這些強盜就被逮捕歸案。在韶州期間，另外一個不幸是利瑪竇的兩名部下相繼逝世。
1591年麥安東神父逝世。1592年初春，利瑪竇前往南雄拜訪瞿汝夔（瞿太素），瞿氏即力勸利氏蓄鬚留髮，且脫去僧服改穿儒服，他更透過其人脈網絡，努力將利瑪竇引介入士大夫的交遊圈中。
1593年石方西神父也辭世了。而另外一名羅明堅神父則早已返回了歐洲，只剩下利瑪竇一人從事在中國的傳教事業。感到欣慰的是，他在肇慶結識的士人瞿太素成爲了他的好友和弟子，還幫助利瑪竇翻譯了歐幾里得《幾何原本》的第一卷。藉著瞿太素的宣傳，以及贈送高官們利瑪竇自己製作的天體儀、地球儀和計時用的日晷等西洋物品，利瑪竇的名聲逐漸在當地的達官貴人中傳開。
在韶州他攻讀《四書》，並首次將之譯爲拉丁文。而通過與瞿太素和其他許多中國上流社會人士的接觸，利瑪竇發現自己先前的佛教僧侶裝扮在當時的中國社會並不受到尊重，社會地位也比較低下。爲了更方便與中國的官員交往，在徵得範禮安的同意後，從1594年起，利瑪竇開始蓄髮留須，並穿起了當時儒士的服裝。
1594年，利瑪竇和中國的一名被派遣到朝鮮邊境的將軍一起，初步嘗試進入北京。但到達南京，又不得不返回駐地。1595年（萬曆二十三年）利瑪竇藉口爲一位北上任職官員之子治病，而獲得了去南京的機會。但是到了南京以後，利瑪竇陪同的官員對他逐漸失去了興趣，利瑪竇只好自己設法留在南京。
然而這一次失敗了。他只好折返南昌，並獲得批準在此居住並建立了第三個傳教駐地。明朝王室成員、各級官員都對地球儀、玻璃器皿、西式裝訂的書籍等禮物極感興趣，利瑪竇便在自己的住宅再一次舉行“科普”展覽，表演先進的記憶方法，出版《交友論》，並開始撰寫《天主實義》，選擇適合中國人倫理觀的西方偉人語錄加以刊行。他放棄建造教堂，公開傳教的方法，進一步用中國自古就有的“上帝”偷換“天主”概念。
利瑪竇在南昌傳教的三年，也是他的傳教策略在探索和實踐中逐步形成的過程。他與江西的官紳階層進行了密切交往和友好的對話，並在這個過程中形成了一套成功的傳教策略——“南昌傳教模式”。
他在寫給耶穌會的報告中解釋了在南昌傳教成功的原因：一是因爲當地從沒有見過外國人；二是利瑪竇的記憶力非常好，以至於許多中國人都想學習，他也因此用漢語寫了一本《西國記法》的書來介紹他的記憶方法；三是它能夠運用四書五經來宣講基督教的教義；四是他的自然科學知識；五是傳說他會鍊金術；六是有人向他求教基督教。
1596年利瑪竇被範禮安任命爲耶穌會中國教區的負責人，由利瑪竇全權負責在中國的傳教活動。並且指示利瑪竇想辦法到北京去覲見中國的皇帝，以達到在中國傳教的有力保障。而且還從澳門送去了許多準備送給中國皇帝的禮物。在南昌，利瑪竇知遇了江西巡撫陸萬垓，向他展示三棱鏡、西國記數法和鍾，並講解西方書籍的內容，他還向當地學人講解數學問題與日晷記時問題。
1596年9月22日利瑪竇在這裡成功的預測了一次日食，使他很快成爲了一個有名的人物。期間結交了許多儒士權貴，受當時名士章潢之邀在著名的白鹿洞書院講學交流，與分封在南昌的皇族後裔建安王和樂安王建立了友好的關係等等。1597年，利瑪竇被任命爲中國傳教的主管。
1598年6月25日利瑪竇與另一位郭居靜神父同王忠銘一起離開南昌奔赴南京。1598年7月初，他們一行到達南京，1598年，利瑪竇首次進京是由南京禮部尚書王忠銘促成的。王忠銘是利瑪竇在韶州傳教時結識的老友，當時正要赴北京述職。時值萬曆皇帝壽誕，王忠銘便邀請利瑪竇一同進京賀壽，利瑪竇也準備了自鳴鐘、八音琴等歐洲方物獻予皇帝。一行人由水路啓程離開南京，沿大運河北上。
1598年9月7日利瑪竇歷經兩個月後到達北京。漫長的旅途加之夏日的酷熱，使傳教士們一度病倒，而初到北京的喜悅，又令他們忘卻了旅途的艱辛。利瑪竇在札記中寫道：“這真是一樁令人欣喜的事，我們不應緘默著把它放過去；只要想想基督信仰跨過多少海洋，經過這樣長時期的接近之後，終於進入這個國度，它的使者終於進入了皇都。”然而，之後的事情遠不如利瑪竇想像中的順利。由於當時正值日本侵犯朝鮮的戰爭，整個京城戒備森嚴、氣氛緊張，人們都怕因結交洋人而惹禍上身。先是王忠銘聯繫的太監拒絕將利瑪竇引入皇宮，隨後王忠銘本人也不再施以援手。
利瑪竇雖然想方設法在京周旋，但仍四處碰壁，就連昔日老友也對他避而不見。利瑪竇作爲外國人無法在北京久留，而且又遇到了財政上的困難，僅住一個多月只得返回南京。雖然未能見到皇帝，但利瑪竇首次北京之行收穫頗豐。他首先證明了《馬可波羅遊記》中記載的契丹就是中國，而國都“汗八里”即是北京。在旅程中，利瑪竇還與神父郭居靜一同編修了第一本中西文字典《平常問答詞意》，首次嘗試用拉丁字母爲漢字注音。此外，他還完成了對《四書》的翻譯和註釋工作，這對中國文化向西方傳播起到了重要的作用。利瑪竇於1599年2月6日在南京定居。並建立了第四個傳教駐地。
在南京居住期間，利瑪竇通過瞿太素的幫助，結交了不少名士，如南京禮部侍郎葉向高、思想家李贄、徐光啓等。當然這主要還是人們對於他的自然科學知識的傾慕。值得一提的是，在南京利瑪竇還與一位三淮和尚（即大報恩寺僧雪浪）進行了一場辯論，在這次辯論中，利瑪竇憑藉其科學性的思辨明顯佔了上風。他還在正陽門（今光華門）內洪武崗西崇禮街（今尚書巷）建成內地第四座天主教堂，他在城西羅寺轉灣的住址後來也成爲著名的天主教堂——石鼓路天主教堂。這些活動使南京爲中國天主教史上最重要的傳教中心之一。
1600年，接受了新任務的利瑪竇開始策劃北京之行。沒過多久，他就聯繫了北上任南京禮部尚書的王忠銘一起帶他去南京，而且王忠銘還表示要帶他去北京。1600年5月18日（萬曆二十八年），利瑪竇帶著龐迪我神父和準備好獻給皇帝的禮物由南京啓程再赴北京，由於太監馬堂的訛詐和阻撓，傳教士們在天津耽擱了近半年的時間，並於1601年1月24日抵達北京。利瑪竇一到北京，就著手整理禮物進獻皇帝。進呈自鳴鐘、聖經、《萬國圖志》、大西洋琴等禮單上開列的貢品共16件，萬曆皇帝對這些貢品興趣十足，對那些宗教聖物，萬曆皇帝既覺新奇又感敬畏，他把十字架上的耶穌稱爲“活神仙”，並把聖母像送與母親慈聖太后。
對大小兩架自鳴鐘，萬曆皇帝最爲喜愛，小的那架被他帶在身邊時常把玩；大的那架，被置於精美的閣樓之中，在宮內專司報時。由於自鳴鐘構造複雜，需要時常維護，傳教士們便被允許定期進宮對其進行檢修。對利瑪竇進奉的西洋琴，萬曆皇帝也備感好奇，他命利瑪竇教太監演奏。利瑪竇讓助手龐迪我教授太監，他自己則仿照宗教讚歌的形式創作了8首樂曲，並填上簡短的中文歌詞，起名《西琴八曲》。每當悠揚的琴聲在宮中迴盪時，萬曆皇帝就會想起這位來自西洋的神甫。正是這些“歐洲方物”打開了利瑪竇進入宮廷的大門，萬曆皇帝也因此對他賞識有加，允許其留居北京，深得信任。
1601年，明神宗下詔允許利瑪竇等人長居北京，作爲歐洲使節被召命帶進北京紫禁城。至此他將一直擁有朝廷的俸祿，直到臨終。但中國的朝廷根本沒有注意到，利瑪竇長住北京的目的是爲了傳播基督教。
利瑪竇在北京以豐富東西學識，結交中國的士大夫。常與賓客談論天主、靈魂、天堂、地獄，同時編撰新書。1602年-1605年，出版《兩儀玄覽圖》第三版中文世界地圖，以及其他著作《天主實義》、《天主教要》和《二十五言》，得到不少中國知識分子的尊重。到了1605年，北京已有200人信奉天主教，當中有數名更是公卿大臣。這當中最著名的，也是後來對利瑪竇傳教事業幫助最大的，當屬“聖教三柱石”——徐光啓、李之藻和楊廷筠。
徐光啓是南直隸松江府（今上海）人，曾在南京與利瑪竇會面，之後入天主教。利瑪竇在北京期間，徐光啓正供職於翰林院，他與利瑪竇結下了深厚的友誼，二人協力翻譯了《幾何原本》和《測量法義》等著作。李之藻是浙江仁和（今杭州）人，時任太僕寺少卿。他師從利瑪竇學習西方科學，之後也加入了天主教。他與利瑪竇合作編譯了《同文指算》等書籍。楊廷筠是李之藻的同鄉，在北京擔任監察御史。楊廷鈞早年是虔誠的佛教徒，後在利瑪竇和李之藻等人的感召下受洗入教。
“聖教三柱石”身體力行實踐教義，他們勸說家人、朋友入教，爲傳教士提供經費，並且在天主教遭受教難之時上疏抗辯，極力保護傳教士。通過利瑪竇的不懈努力，天主教在中國得以傳播。利瑪竇留居北京之後，全國教徒人數驟增，涵蓋了平民、士大夫、皇親國戚等各個階層。與此同時，西方的科學技術伴隨天主教傳入中國，中國的文化也由傳教士們帶到西方。
利瑪竇初到北京時，住在專門接待外國使臣的賓館中，隨後獲準在城內擇民房長住，並可以進行傳教活動。利瑪竇選中了宣武門內的一塊土地，他在這裡修建了一座教堂，這就是著名的南堂——北京地區現存最古老的天主教堂。利瑪竇建立南堂之後，在教堂裡舉辦西方圖書和科學儀器的展覽，吸引了大批官員和儒士前來參觀，從而擴大了天主教在士大夫中的影響。利瑪竇在北京交遊於士林，結識衆多名流，其中不乏朝廷高官，如內閣首輔沈一貫、吏部尚書李戴、禮部尚書馮琦、刑部尚書蕭大亨等人。
1607年，利瑪竇與徐光啓合作，出版了歐幾里德《幾何原本》的前六回的譯本。
1608年，印刷《畸人十篇》，並開始編纂他的歷史著作《基督教遠征中國史》。1610年5月11日(萬曆三十八年)，因病卒於北京，終年59歲。1611年，萬曆皇帝賜物利瑪竇安葬於平則門外二里溝的滕公柵欄。按照當時慣例，西方傳教士死後本應移葬澳門，但在內閣首輔葉向高等人的斡旋下，萬曆皇帝破例準許利瑪竇葬於北京西郊的藤公柵欄，使其成爲首位葬於北京的西方傳教士。