唐玄宗做了二十多年太平天子，渐渐滋长了骄傲怠惰的情绪。他想，天下太平无事，政事有宰相管，边防有将帅守，自己何必那么为国事操心。于是，他就追求起享乐的生活来。

宰相张九龄看到这种情况，心里挺着急，常常给唐玄宗提意见。唐玄宗本来很尊重张九龄，但是到了后来，对张九龄的意见也听不进去了。

有一个大臣李林甫，是一个不学无术的人。他什么事都不会，专学了一套奉承拍马的本领。他和宫内的宦官、妃子勾结，探听宫内的动静。唐玄宗在宫里说些什么，想些什么，他都先摸了底。等到唐玄宗找他商量什么事，他就对答如流，简直跟唐玄宗想的一样。唐玄宗听了挺舒服，觉得李林甫又能干，又听话，比张九龄强多了。

唐玄宗想把李林甫提为宰相，跟张九龄商量。张九龄看出李林甫不是正路人，就直截了当地说：“宰相的地位，关系到国家的安危。陛下如果拜李林甫为相，只怕将来国家要遭到灾难。”

这些话传到李林甫那里，李林甫把张九龄恨得咬牙切齿。朔方（治所在今宁夏灵武）将领牛仙客，目不识丁，但是在理财方面，很有点办法。唐玄宗想提拔牛仙客，张九龄没有同意。李林甫在唐玄宗面前说：“像牛仙客这样的人，才是宰相的人选；张九龄是个书呆子，不识大体。”

有一次，唐玄宗又找张九龄商量提拔牛仙客的事。张九龄还是不同意。唐玄宗发火了，厉声说：“难道什么事都得由你作主吗！”

唐玄宗越来越觉得张九龄讨厌，加上听信了李林甫的诽谤，终于借个因头撤了张九龄的职，让李林甫当宰相。