虞允文问他们说：“金人都快要渡江了，你们坐在这里等什么？”

兵士们抬头一看，见是一个文官，没好气地说：“将军们都跑了，我们还打什么仗？”

虞允文看到队伍这样涣散，十分吃惊，觉得等李显忠来已经来不及了，就立刻召集宋军将士，告诉他们说：“我是奉朝廷的命令到这里来劳军的。你们只要为国家立功，我一定报告朝廷，论功行赏。”

大伙儿见虞允文出来作主，也打起精神来了。他们说：“我们吃尽金人的苦，谁不想抵抗。现在既然有您作主，我们愿意拼命作战。”

有个跟随虞允文一起去的官员悄悄地对虞允文说：“朝廷派您来劳军，又不是要您督战。别人把事办得那么糟，您何必背这个包袱呢？”

虞允文气愤地说：“这算什么话！现在国家遭到危急，我怎么能考虑自己的得失，逃避责任。”

虞允文是个书生，从来没有指挥过战争。但是爱国的责任心使他鼓起勇气。他立刻命令步兵、骑兵都整好队伍，排好阵势，又把江面的宋军船只分为五队，一队在江中，两队停泊在东西两侧岸边，另外两队隐蔽在港汊里作后备队。

宋军布置刚刚结束，金兵已经开始渡江。完颜亮亲自挥动着小红旗指挥。几百艘金军大船迎着江风，满载着金兵向南岸驶来。没有多少时间，金兵已经陆续登岸。

虞允文命令部将时俊率领步兵出击。时俊挥舞着双刀，带头冲向敌阵。兵士们士气高涨，拼命冲杀。金兵进军以来，从没有遭到过抵抗，一下子碰到这样强大的敌手，就都垮下来了。

江面上的宋军战船，也向金军的大船冲去。宋军的战船虽小，但是很坚实，就像尖利的钢刀一样，插进金军的船队，把敌船拦腰截断。敌船纷纷被撞沉。敌军一半落在水里淹死，一半还在顽抗。

太阳下山了，天色暗了下来，江面上的战斗还没有结束。这时候，正好有一批从光州（今河南潢州）逃回来的宋兵到了采石。虞允文要他们整好队伍，发给他们许多战旗和军鼓，从山后面摇动旗帜，敲着鼓绕到江边来。江上的金兵听到南岸鼓声震天，看到山后无数旗帜在晃动，以为是宋军大批援兵到来，纷纷逃命。