苏武痛骂卫律说：“你做人家的臣下和儿子，不顾及恩德义理，背叛皇上、抛弃亲人，在异族那里做投降的奴隶，我为什么要见你！况且单于信任你，让你决定别人的死活，而你却居心不平，不主持公道，反而想要使汉皇帝和匈奴单于二主相斗，旁观两国的灾祸和损失！南越王杀汉使者，结果九郡被平定。宛王杀汉使者，自己头颅被悬挂在宫殿的北门。朝鲜王杀汉使者，随即被讨平。唯独匈奴未受惩罚。你明知道我决不会投降，想要使汉和匈奴互相攻打。匈奴灭亡的灾祸，将从我开始了！”卫律知道苏武终究不可胁迫投降，报告了单于。单于越发想要使他投降，就把苏武囚禁起来，放在大地窖里面，不给他喝的吃的。天下雪，苏武卧着嚼雪，同毡毛一起吞下充饥，几日不死。匈奴以为神奇，就把苏武迁移到北海边没有人的地方，让他放牧公羊，说等到公羊生了小羊才得归汉。同时把他的部下及其随从人员常惠等分别安置到别的地方。
苏武迁移到北海后，粮食运不到，只能掘取野鼠所储藏的野生果实来吃。他拄着汉廷的符节牧羊，睡觉、起来都拿着，以致系在节上的牦牛尾毛全部脱尽。一共过了五、六年，单于的弟弟於靬王到北海上打猎。苏武会编结打猎的网，矫正弓弩，於靬王颇器重他，供给他衣服、食品。三年多过后，於靬王得病，赐给苏武马匹和牲畜、盛酒酪的瓦器、圆顶的毡帐篷。王死后，他的部下也都迁离。这年冬天，丁令人盗去了苏武的牛羊，苏武又陷入了穷困。
当初，苏武与李陵都为侍中。苏武出使匈奴的第二年，李陵投降匈奴，不敢访求苏武。时间一久，单于派遣李陵去北海，为苏武安排了酒宴和歌舞。李陵趁机对苏武说：“单于听说我与你交情一向深厚，所以派我来劝说足下，愿谦诚地相待你。你终究不能回归本朝了，白白地在荒无人烟的地方受苦，你对汉廷的信义又怎能有所表现呢？以前你的大哥苏嘉做奉车都尉，跟随皇上到雍的棫宫，扶着皇帝的车驾下殿阶，碰到柱子，折断了车辕，被定为大不敬的罪，用剑自杀了，只不过赐钱二百万用以下葬。你弟弟孺卿跟随皇上去祭祀河东土神，骑着马的宦官与驸马争船，把驸马推下去掉到河中淹死了。骑着马的宦官逃走了。皇上命令孺卿去追捕，他抓不到，因害怕而服毒自杀。我离开长安的时候，你的母亲已去世，我送葬到阳陵。你的夫人年纪还轻，听说已改嫁了，家中只有两个妹妹，两个女儿和一个男孩，如今又过了十多年，生死不知。人生像早晨的露水，何必长久地像这样折磨自己！我刚投降时，终日若有所失，几乎要发狂，自己痛心对不起汉廷，加上老母拘禁在保宫，你不想投降的心情，怎能超过当时我李陵呢！并且皇上年纪大了，法令随时变更，大臣无罪而全家被杀的有十几家，安危不可预料。你还打算为谁守节呢？希望你听从我的劝告，不要再说什么了！”
苏武说：“我苏武父子无功劳和恩德，都是皇帝栽培提拔起来的，官职升到列将，爵位封为通侯，兄弟三人都是皇帝的亲近之臣，常常愿意为朝廷牺牲一切。现在得到牺牲自己以效忠国家的机会，即使受到斧钺和汤镬这样的极刑，我也心甘情愿。大臣效忠君王，就像儿子效忠父亲，儿子为父亲而死，没有什么可恨，希望你不要再说了！”