李績不想參與到結黨營私當中，只想坐山觀虎鬥。對李治，他心存感激，但也覺得這不過是李世民與李治的帝王之術，並無多少感激在裡面。

他果真在褚遂良與長孫無忌離去之後，便寫了辭呈，遞交了上去。

李治一再的挽留，李績一再的堅持。

最後，於永徽元年（650年）十月初三，李治解除李績的尚書左僕射職務，仍任開府儀同三司、同中書門下三品。

李績還顯得一副很是無奈的樣子：“哎，老臣老矣，也不得清閒。”

關於這個信息，長孫無忌覺得，就算沒拉攏李績，看到李績抽身世外，倒也不錯。

而褚遂良，繼續調查著皇上去感業寺的真實目的。這看似忠誠的臣子，心裡到底在想什麼，誰又知道呢？

李績的事情少了，也有了空閒，便抽身前往感業寺。他回到京城才得知武媚已經奉先帝旨意出家爲尼，心中很是不解先帝的所爲。

他也聽說了一些有關皇上和武媚的傳聞，難道這就是先帝一定要讓武媚出家的原因嗎？雖是繼母，武媚與新皇可是年齡相當。

李績雖是富家出生，也是當過土匪的，他的思想不拘泥於傳統。這也造成了他明明看出了長孫無忌的陰謀，卻也不願意插手的原因。他覺得，雖是新皇真有心於武媚，就應該給她一個名份，一個可以遮風避雨的窩。他瞧不起這個連自己心愛的女人都保護不了的新皇。可他哪裡知道李治的難處？

他是一個知恩圖報的人，當年出征高句麗，是武媚救了他一命，他一直謹記於心。

他身穿便服，單獨來到了感業寺，會見了武媚：“武才人，您清瘦了許多。”

武媚淡然的一笑：“李大人今日爲何能得空閒，來看望貧尼？”

李績看了看四周，並無外人：“武才人，老夫如今辭去了尚書左僕射的職務，空掛著開府儀同三司之職。三司之事，自有長孫大人和褚大人操心。我自是清閒了不少。”

武媚眉頭緊鎖：“李大人，朝廷正是用人之際，你怎可只圖自己清閒？新皇登基，朝政之事，必是需要你的。”

李績臉色有些難看：“皇上可是傾心於您？”

李績如此直白的問話，讓武媚吃驚不小：“啊？這，這……”

李績又看了看四周：“這裡並無旁人，武才人也不必隱瞞於老夫。您曾經救過老夫一命，老夫從未忘記，必不會做出傷害您的事情來。”

武媚坦然：“嗯，貧尼是與皇上兩心相印。只是，貧尼並不想讓皇上爲了貧尼，而在朝堂上難做。”

李績不解：“皇上往後宮添個妃子而已，有那麼難嗎？”

武媚的臉色暗下來：“皇上也不是那麼好當的。初登大寶，政局不穩，就算是無關緊要的小事，也有可能被有心的人利用。”

武媚的話，讓李績想起了褚遂良與長孫無忌，是那麼的挖空心思，要調查皇上與武媚的事情，低下頭，沉思了片刻，心中盤算著怎麼樣才能成全了皇上與武媚的事情。

隨後，李績起身：“武才人且安心靜養，自有雨過天晴的那一天。”

武媚將李績送走，不管他是否能幫到自己，她的心裡也是很感激的。當年她救他，完全是一種巧合。換了別人，她依然會救，誰讓她本就善良呢？

李績回去之後，就開始命人調查朝中大臣，看看誰是與長孫無忌和褚遂良不合的。

調查之後，發現一個很有意思的事情，那就是，長孫無忌和褚遂良都是關隴門閥，對他們不滿的都是一些受關隴士族所打壓的寒門子弟。

李績悄悄的派人給皇上送了一個口信：“如今關隴門閥獨攬朝政，長此下去，終將一發不可收拾。望陛下能重用寒門子弟，以達到制衡關隴門閥的效果。”

他不能寫奏摺，以免被長孫無忌等關隴門閥中人看到。

李治得到這個消息，很是欣喜，心想：“李大人並沒有置朕於不顧，或許暫時的退縮，只是爲了麻痹需要對付的人。朕又何嘗不知，要想制衡關隴門閥，就得要提攜寒門子弟，才能讓朕有朝一日能乾綱獨斷。只是，一切都需要時機。”

爲了麻痹褚遂良與長孫無忌，李治從登基之後，就假裝著很聽話，一切都聽之任之。小試牛刀，讓洛陽百姓李弘泰（內衛假扮）誣告長孫無忌謀反。一是想試探長孫無忌的反應，二是當他不問其真假就立即下令將其處斬，以博得長孫無忌的信奈。這也讓長孫無忌很是滿意。

李績等不了皇上出馬，私下找了李義府。

此時的李義府只是一箇中書舍人（任起草詔令之職），並無什麼實權。他得知李績找他私下會面，豈有不去之禮。

李義府畢恭畢敬的給李績行禮：“不知開府儀同三司找鄙人有何事？您若有吩咐，差人送個口信，鄙人定會效勞。”出身寒門，沒有背景，想要在仕途上走得更遠，怎麼會放過任何一個攀附的機會？

李績看了看李義府那副小人的模樣，本想轉身離去，心又想：“或許，對付關隴門閥，還就得這樣的小人。”

於是，李績沉默了片刻，小聲說道：“你討好我，還不如想辦法討好皇上。如果能討好皇上，你還愁沒有更好的發展嗎？”

李義府兩眼發光：“請賜教。”

李績看了看四周，他好像總是這樣警惕，也許是身爲將軍，多年征戰，養成的習慣：“褚遂良與長孫無忌，時常爲難皇上，想辦法搞倒他們。怎麼搞，你自己想辦法。但，有言在先，你若成功，自然會讓你的將來前途無量。你若是失敗了，也得能承擔得起後果。”

李義府奸笑著：“鄙人沒什麼好怕的，正所謂光腳不怕穿鞋的。本就一無所有，沒有什麼是輸不起的了。”

李績離開，心想：“呵呵……看來小人還是不好得罪的。”

李義府一刻也沒閒著，摸著黑，就去找了監察御史韋思謙。

李義府早年以薦舉入仕，歷任門下典儀、監察御史、太子舍人、中書舍人。他與韋思謙曾經在一處辦公，有些交情。

韋思謙拉著李義府的手：“老兄好久沒來寒舍小坐了。”

李義府把眼珠子轉了一圈，韋思謙一看就明折，將下人都退了下去：“是什麼要緊的事？”

李義府表情很是嚴肅：“可有辦法參奏褚遂良和長孫無忌？”

韋思謙有些爲難，皺著眉頭：“那可是兩位顧命大臣。洛陽百姓李弘泰曾狀告長孫無忌謀反，皇上連審都沒審問，就直接將其斬首了。”

李義府眼神堅定：“此一時，彼一時。歷代皇上，有誰願意一直被大臣控制著？皇上已經有心除掉他們，此時參奏，不會有事。”

韋思謙先是吃驚，心想：“莫非是皇上讓他來找我的？皇上有什麼事，爲何還要繞這麼大個彎子呢？”後又想：“只怕是我性格鯁直的原因。他說得也沒錯，歷代以來，沒有哪個皇上願意屈居於大臣之下。”

他皺著眉頭想了一會兒，露出笑顏：“正好有人想彈劾褚遂良，倒是一個機會。”

李義府很是滿意的離開。

此時的褚遂良還並不知道有禍事臨頭，派人去調查皇上去感業寺的最終目的。

此事，被安排在感業寺保護武媚的內衛發現了，稟報了李治。

李治氣得把茶杯都摔地上了：“混蛋，做爲一個大臣，居然明目張膽的調查起朕的事情來了。這簡直是荒唐至極。”

生氣之下，李治還想不到辦法如何處理。

次日【永徽元年（650年）十月十二日】，韋思謙上奏疏彈劾中書令褚遂良壓價購買中書省翻譯人員的土地。

這可是讓李治抓住了懲治褚遂良的機會，正想下令，大理寺少卿張睿冊走了出來：“褚大人是依估定價格購買，何罪之有？”

李治心想：“看來這張睿冊是得了褚遂良的好處了，更或是說什麼好處都沒有得到，只是想借機向褚遂良賣個好靠攏。”

韋思謙正想著，莫不是皇上又得護著褚遂良吧？李治就遞了一個眼神給韋思謙。

韋思謙心裡有了底：“設置估定價格，是預備國家需要時徵收用的，臣下之間的交易，怎麼能夠按照估定的價格呢？睿冊利用文書舞弊，附和臣下，欺罔皇上，按其罪行應當處死。”

當天，李治將褚遂良降職爲同州刺史，張睿冊降爲遁州刺史。

長孫無忌很奇怪，他只是眼睜睜的看著一切的發生，並沒有說半個字。

這讓李治也感覺到奇怪，心想：“褚遂良被貶，對長孫無忌的獨攬大權，多多少少都是有影響的。爲何他只是看著？”

或許是因爲證據確鑿，無可辯解，或許還有別的原因吧？

不管怎麼樣，李治的心裡放下了一塊大石頭。武媚的安危，是他最牽掛的。沒了美人，要江山何用？

事後，李績派人給李義府送去了不少的金銀，並代話：“此事辦得不錯。這些金銀，你可以用來籠絡寒門子弟，將來好更有利的扳倒長孫無忌。”