自从匈奴人占领中原，北方有许多人避难到南方来。刘琨的好友祖逖也带了几百家乡亲来到淮河流域一带。在逃难的行列中，祖逖主动出来指挥，把自己的车马让给老弱有病的坐，自己的粮食、衣服给大家一起吃用。大家都十分敬重他，推他做首领。

到了泗口（今江苏清江市北），祖逖手下已经有一批壮士，他们都是背井离乡的北方人，希望祖逖带领他们早日恢复中原。

当时，司马睿还没有即皇帝位。祖逖渡江到建康，劝琅琊王司马睿说：“晋朝大乱，主要是由于皇室内部自相残杀，使胡人乘机会攻进了中原。现在中原的百姓遭到敌人残酷迫害，人人想要起来反抗。只要大王下令出兵，派我们去收复失地。那么北方各地的人民一定会群起响应。”

司马睿并没有恢复中原的打算，但是听祖逖说得有道理，也不好推辞，勉强答应他的请求，派他做豫州（在今河南东部和安徽北部）刺史，拨给一千个人吃的粮食和三千匹布，至于人马和武器，叫他自己想办法。

祖逖带着随同他一起来的几百家乡亲，组成一支队伍，横渡长江。船到江心的时候，祖逖拿着船桨，在船舷边拍打（文言是‘中流击楫”），向大家发誓说：“我祖逖如果不能扫平占领中原的敌人，决不再过这条大江。”他的激昂的声调和豪壮的气概，使随行的壮士个个感动，人人激奋。

到了淮阴，他们停下来一面制造兵器，一面招兵买马，聚集了两千多人马，就向北进发了。

祖逖的军队一路上得到人民的支持，迅速收复了许多失地。当时，长江以北还有不少豪强地主，趁中原大乱的机会，占据堡坞，互相争夺。祖逖说服他们停止内争，跟随他一起北伐，对不听号令、依附敌人的，就坚决打击。祖逖的威望就越来越高了。

刘琨在北方听到老朋友祖逖起兵北伐，也很高兴，说：“我夜间枕着兵器睡觉等天亮，就是一心要消灭敌人。现在祖逖跑到我前面去了。”

公元３１９年，陈留地方的豪强地主陈川投降后赵国主石勒，祖逖决定发兵进攻陈川。石勒派兵五万援救，被祖逖打得大败。接着，后赵的将领桃豹和祖逖的部下韩潜又争夺蓬陂（在河南开封市附近）城。战斗了四十天，相持不下，双方的军粮都发生了困难。