刘琨把流亡的百姓都召回来耕种荒地。不到一年时间，到处可以听到鸡鸣狗叫的声音，晋阳城渐渐恢复了繁荣的景象。

刘聪攻破洛阳之后，西晋在北方的兵力大多被打散了，只有刘琨还在并州一带坚持战斗。晋愍帝在长安即位后，派人封刘琨为大将军，要他统率并州的军事。

那时候，汉国大将石勒，占据了襄国（在今河北邢台西南），集结了几十万大军，想夺取并州。刘琨南面有刘聪，北面有石勒，前后受敌，处境困难到了极点。可是刘琨没有害怕，没有退缩。他在给晋愍帝的一份奏章里说：“臣跟刘聪、石勒，势不两立。如果不讨平他们，臣决不回朝。”

据说，刘琨在晋阳的时候，有一次，晋阳被匈奴的骑兵层层包围。晋阳城里兵力太少，没有力量打退敌人。大家都感到惊慌，刘琨却仍然泰然自若。到了傍晚，他登上城楼，在月光下放声长啸，声调悲壮。匈奴的骑兵听了，都随着啸声叹息。半夜里，刘琨又叫人用胡笳（一种乐器）吹起匈奴人的曲调，勾起了匈奴骑兵对家乡的怀念，伤感得流下眼泪。天快亮的时候，城头的笳声又响了起来，匈奴兵竟自动跑散了。

后来，刘琨联络鲜卑族首领一起进攻刘聪，没有成功。接着，石勒进攻乐平（今山西昔阳西南），刘琨派兵去救，被石勒预先埋伏好的精兵打得几乎全军覆没。正在这个时候，又传来了长安被刘聪攻陷的消息。到了这步田地，尽管刘琨怎样顽强，也没法保住并州，只好率领残兵投奔幽州去了。