霍去病还是第一次出来打仗的小伙子，才做了个校尉。他带领了八百名壮士，组成一个小队，去找匈奴部队。他们向北跑了一阵，一路上没瞧见匈奴兵士，一直赶了几百里路，才远远望见匈奴兵的营帐。

他们偷偷地绕道抄过去，瞅准一个最大的帐篷，猛然冲了进去。霍去病眼明手快，一刀杀了一个匈奴贵族。他手下的壮士又活捉了一个。

匈奴兵没有了头儿，四处奔逃，八百个壮士追上去又杀了两千多匈奴兵，才赶回大营。

卫青在大营正等得着急，只见霍去病提了一个人头回来，后面的兵士还押了两个俘虏。经过审问，才知道这两个俘虏，一个是单于的叔叔，一个是单于的相国，那个被霍去病杀了的还是单于爷爷一辈的王。

十八岁的霍去病第一次参加作战，就逮住了匈奴的两个将官，这功劳可真不小。战斗结束，被封为冠军侯。

公元前１２１年，汉武帝又封霍去病为骠骑将军，率领一万骑兵，从陇西出发，进攻匈奴。霍去病的兵马跟匈奴接连打了六天，匈奴兵抵挡不住，向后败退。霍去病和他的骑兵越过了燕支山（在今甘肃永昌县西），追击了一千多里地。那边还有不少是匈奴的属国，像浑邪（在今甘肃省境）、休屠（在今甘肃武威县北，屠音ｔú）。汉兵到了那里，俘虏了浑邪王的王子和相国，把休屠王祭天的金人（一种铜像）也拿来了。

汉武帝为了慰劳霍去病，要替他盖一座住宅。霍去病推辞了。他说：“匈奴还没消灭，哪儿顾得上安家呢！”（文言是“匈奴未灭，何以家为！”）

为了根除匈奴的侵犯，到了公元前１１９年，汉武帝经过充分准备之后，再次派卫青、霍去病各带五万精兵，分两路合击匈奴。

卫青从定襄郡出塞，穿过大沙漠，行军一千多里，匈奴的伊穉邪（穉音ｚｈì）单于亲自率领精兵严阵对抗。双方展开了一场大会战。激战到夜幕降临的时候，沙漠上突然刮起一阵狂风，夹着砂砾，吹得天昏地黑。卫青顶着狂风，冒着扑面的砂砾，命令骑兵分左右两翼夹攻。伊穉邪单于招架不了，带了几百骑兵向北突围逃去。卫青一直追到寘颜山（古山名，今蒙古高原杭爱山南面的一支、寘音ｔｉáｎ）下的赵信城，匈奴兵已经逃空，城里贮存了不少粮草。卫青让兵士们饱餐了一顿，把多余的积粮烧了，才胜利回师。

另一路，霍去病也横越大沙漠，前进两千多里，大破匈奴左贤王的兵马，一直追到狼居胥山（在今内蒙古自治区五原西北黄河北岸；一说在今蒙古人民共和国境内）下，在那里立了一块石碑留作纪念。

这是汉朝规模最大、进军最远的一次追击。打那以后，匈奴撤退到大沙漠以北，沙漠南面就没有匈奴的王庭了。