一直到了公元前８５年，匈奴的单于死了，匈奴发生内乱，分成了三个国家。新单于没有力量再跟汉朝打仗，又打发使者来求和。那时候，汉武帝已死去，他的儿子汉昭帝即位。汉昭帝派使者到匈奴去，要单于放回苏武，匈奴谎说苏武已经死了。使者信以为真，就没有再提。

第二次，汉使者又到匈奴去，苏武的随从常惠还在匈奴。他买通匈奴人，私下和汉使者见面，把苏武在北海牧羊的情况告诉了使者。使者见了单于，严厉责备他说：“匈奴既然存心同汉朝和好，不应该欺骗汉朝。我们皇上在御花园射下一只大雁，雁脚上拴着一条绸子，上面写着苏武还活着，你怎么说他死了呢？”

单于听了，吓了一大跳。他还以为真的是苏武的忠义感动了飞鸟，连大雁也替他送消息呢。他向使者道歉说：“苏武确实是活着，我们把他放回去就是了。”

苏武出使的时候，才四十岁。在匈奴受了十九年的折磨，胡须、头发全白了。回到长安的那天，长安的人民都出来迎接他。他们瞧见白胡须、白头发的苏武手里拿着光杆子的旌节，没有一个不受感动的，说他真是个有气节的大丈夫。