那时期，西川附近有个吐蕃将领投降。李德裕趁机收复了一个重镇维州（治所在今四川理县）。这本来是李德裕立了一功。但是宰相牛僧孺却跟唐文宗说：“收复一个维州，算不了什么；跟吐蕃搞坏关系，才不上算呢。”他要唐文宗下令叫李德裕把维州让还吐蕃，使李德裕气得要命。

后来，有人告诉唐文宗，说退出维州城是失策，并且说这件事是牛僧孺排挤李德裕的手段。唐文宗挺懊悔，对牛僧孺也疏远了。

唐文宗本人也受宦官控制，没有一定的主见。一会儿用李德裕，一会儿用牛僧孺。一派掌了权，另一派就没好日子过。两派势力就像走马灯似地转悠着，把朝政搞得十分混乱。唐文宗也闹不清谁是谁非，想起这件事直叹气，说：“要平定河北容易，要除掉朝廷的朋党可真难啊！”

牛、李两派为了争权夺利，都讨宦官的好。李德裕做淮南节度使的时候，监军的宦官杨钦义被召回京城，大家传说杨钦义回去一定掌权。临走的时候，李德裕就办酒席请杨钦义，还送给他一份厚礼。杨钦义回去以后，就在唐武宗面前竭力推荐李德裕。

到了唐武宗即位，李德裕果然当了宰相。他竭力排斥牛僧孺、李宗闵，把他们都贬谪到南方去。

李德裕得了武宗信任，当了几年宰相，因为办事专断，遭到不少朝臣的怨恨。公元８４６年，唐武宗病死，宦官们立武宗的叔父李忱即位，就是唐宣宗。唐宣宗把武宗时期的大臣一概排斥，即位第一天，就撤了李德裕的宰相职务。过了一年，又把李德裕贬谪到崖州（今广东海南岛）。

闹了四十年的朋党之争终于收场，但是混乱的唐王朝已经闹得更加不好收拾了。