过了几年，白居易在太子的东宫里作大夫。有一次，宰相武元衡被人派刺客暗杀了。这次暗杀有复杂的政治背景，朝廷的官僚谁也不想开口。只有白居易站了出来，首先向宪宗上了奏章，要求通缉凶手。宦官和官僚抓住这个机会，说白居易不是谏官，不该对朝廷大事乱主张，狠狠地告了一状。

接着，又有一批一向讨厌白居易的官员，乱哄哄造谣污蔑，向白居易泼污水。有人说白居易的母亲是看花掉到井里淹死的，白居易居然还写过《赏花》、《新井》的诗，那不是大不孝吗？

经过这样罗织罪名，谁也没法给白居易辩护，白居易终于被降职到江州（今江西九江）去当司马了。

白居易无辜受到贬谪，到了江州之后，心情十分抑郁。有一天晚上，他在江州的湓浦口送客人，听到江上传来一阵哀怨的琵琶声，叫人一打听，原来是一个漂泊江湖的老年歌女弹的。白居易见了那歌女，又听她诉说她的可悲身世，十分同情；再联想到自己的遭遇，引起满腔心事。回来以后，写下了著名的叙事长诗《琵琶行》，诗中说：

我闻琵琶已叹息，又闻此语重唧唧。

同是天涯沦落人，相逢何必曾相识。

后来白居易又几次回到京城，做过几任朝廷大官。但是当时的朝政十分混乱，像白居易这样正直的人不可能有什么作为。他把他全部精力倾注到诗歌创作中去。他的一生一共写了二千八百多首诗，成为我国文学宝库里的一份十分珍贵的遗产。