当匈奴贵族横行北方、西晋王朝面临崩溃的时候，晋朝有一些有志气的将领还坚持在北方战斗。刘琨就是这样的杰出代表。

刘琨年青的时候，有一个要好的朋友叫祖逖。在西晋初期，他们一起在司州（治所在今洛阳东北）做主簿，晚上，两人睡在一张床上，谈论起国家大事来，常常谈到深更半夜。

一天夜里，他们睡得正香的时候，一阵鸡叫的声音，把祖逖惊醒了。祖逖往窗外一看，天边挂着残月，东方还没有发白。

祖逖不想睡了，他用脚踢踢刘琨。刘琨醒来揉揉眼睛，问是怎么回事。祖逖说：“你听听，这可不是坏声音呀。它在催我们起床了。”

两个人高高兴兴地起来，拿下壁上挂的剑，走出屋子，在熹微的晨光下舞起剑来。

就这样，他们一起天天苦练武艺，研究兵法，终于都成为有名的将军。

公元３０８年，晋怀帝任命刘琨做并州刺史。那时候，并州被匈奴兵抢夺杀掠，百姓到处逃亡。刘琨招募了一千多个兵士，冒着千难万险，转战到了并州的晋阳（今山西太原市西南）。

晋阳城里，房屋被焚毁，满地长着荆棘，到处是一片荒凉。偶然见到一些留下来的百姓，已经饿得不像样子了。

刘琨看到这种情况，心里很难过。他命令兵士砍掉荆棘，掩埋尸体，重新把房屋城池都修复起来。他亲自率领兵士守城，防备匈奴兵的袭击。他还采取计策，让匈奴的各部落互相猜疑。后来，有一万多个匈奴人投降了刘琨，连汉主刘渊也害怕了，不敢侵犯。