汉和匈奴经过多年战争，双方都有停止战争再言和好的意思。汉武帝天汉元年(公元前年)，先是匈奴单于送回了过去扣留的汉朝使者，同年，汉武帝也遣苏武、张胜、常惠出使匈奴修好。但是，什么事都有意外。当苏武完成使命准备回国的时候，发生了一件突然的事:
苏武纪念馆汉降将，匈奴人卫律的部下虞常等，密谋乘单于外出打猎之机，想射杀卫律和单于的母亲，而后归汉。虞常事先曾向张胜透露过，但事情很快败露。单于怀疑此事是苏武等汉使策划的，盛怒之下，扣留了苏武一行，并派卫律严刑审问苏武、张胜。苏武力辩:汉使没有和虞常共谋，并用佩刀自刺，鲜血喷涌。卫律急派人请医生抢救，苏武才苏醒过来。之后，单于又对苏武用软硬兼施手法，逼他投降。一次单于让卫律当着苏武的面，杀了虞常，迫使张胜伏地乞降。卫律又举剑直砍苏武，苏武昂首挺立，再次申明和虞常没有任何关系，并说，“屈节辱命，虽生，又有何面目归汉”。卫律见威逼不成，又以许高官厚禄劝苏武归顺匈奴。但苏武不为所动。这种富贵不能移、威武不能屈的精神，连单于也不能不惊叹。
苏武出使匈奴单于无可奈何，就把苏武流放到北海(今贝加尔湖)，给了他一群公羊，说等到公羊生下羊羔，才放苏武回国。谁都知道，公羊怎么会产羔呢?这明明是告诉苏武永无回归之日了。
北海的气候环境恶劣异常，冰天雪地，荒无人烟。苏武为了生存下去，归汉复命，饮雪吞毡，挖掘草实充饥，度过了一年又一年。
苏武牧羊一天，苏武的朋友，兵败投降匈奴的李陵，奉单于的命令，来到北海劝苏武投降。他带来最坏的消息:“你的母亲和兄弟，都已相继故去，妻子也改了嫁，妹妹和孩子，不知存亡。”问苏武还有什么可留恋的，李陵说:“人生如朝露，何必自苦如此呢!不如听我的劝告，降了匈奴，落得富贵。”苏武对李陵的变节已是非常气愤，听了他劝降的话，更是怒火满腔，怒斥了李陵，并以死拒降。在风雪饥寒中，苏武的头发白了，衣服破了，手中拿的汉节的毛也脱落很多，但是他的气节却丝毫没有改变。
汉昭帝初年，汉、匈又和好了，汉朝遣使匈奴，要求接苏武回国，单于谎说苏武已经死了。但汉使用计说:“汉天子在上林(皇帝射猎的宫苑)射下一只雁,在雁足上有帛书，说苏武现在北海。”单于大惊，不得不允许苏武归汉。
苏武的事迹，被后人编为故事、歌、剧广为流传。这些故事和歌、剧，优美、凄婉动人，它歌颂了苏武战胜困难的坚强毅力，歌颂了他的高尚气节，也歌颂了他在逆境中成功地完成了使命。
