有一天，祖逖用布袋装满了泥土，派一千多名兵士扛着，运到了晋营，装作运粮的样子。最后又派了几个兵士扛着几袋米，运到半路上，故意停下来休息。

桃豹在赵营内看到晋兵运来那么多的米，自然眼红，就趁晋兵休息的时候，派了大批兵士来抢。晋兵丢下米袋就逃。赵营里早已断了粮，抢到了一点米，只能够勉强维持几天，但是大家看到晋营里军粮那么充足，军心就动摇起来了。桃豹赶快派人向石勒求救。

过了几天，石勒派了一千头驴子装运了粮食接济桃豹。祖逖早就探得情报，在路上设下伏兵，把后赵的粮食全部截夺下来。这样一来，桃豹再也支持不住，连夜放弃阵地逃跑了。

祖逖领导晋兵艰苦斗争，收复了黄河以南的全部领土，后赵的兵士陆续向祖逖投降的也很多。晋元帝即位后，因为祖逖功劳大，封他为镇西将军。

祖逖在战斗的艰苦环境中，和将士们同甘共苦，自己的生活很节约，把省下的钱尽量帮助部下。他还奖励耕作，招纳新归附的人。即使是跟自己关系疏远和地位低下的人，他也同样热情地对待。生地的百姓都很拥护他。

有一次，祖逖举行宴会招待当地父老。人们高兴得又是唱歌，又是跳舞。有些老人流着眼泪说：“我们都老了，今天能够在活着的日子里看到亲人，死了也可以闭上眼睛了。”

祖逖一面操练士兵，一面扩大兵马，预备继续北伐，收复黄河以北的国土。哪儿想到昏庸的晋元帝对祖逖竟放心不过，怕祖逖势力太大了不好控制，派了一个戴渊来当征西将军，统管北方六州的军事，叫祖逖归他指挥。祖逖辛辛苦苦收复失地，反而受到朝廷的牵制，心里很不舒坦。

不久，祖逖听说他的好友刘琨在幽州被王敦派人害死，又听说晋元帝跟王敦正在明争暗斗，心里又是忧虑，又是气愤，终于得病死了。豫州的男女老少听到祖逖去世的消息，像死了自己的亲人一样伤心。

祖逖虽然没有完成恢复中原的事业，但他那中流击楫的英雄气概，一直被后代的人所传诵。