公元前100年，匈奴人注意到漢朝又出現了出兵的跡象，於是他們就派使者去求和，還把漢朝所有的使者都送了回去，為了迴應匈奴人的好意，漢武帝派中郎將蘇武和他的副手張勝還有隨行人員常惠一起出使匈奴，蘇武到了匈奴還送回了漢朝以前拘留的匈奴使臣，並且獻上了一份禮物，在等單于回信讓他回去時發生了一件意想不到的事情。

原來漢朝以前有一位使者名叫衛律，在出使匈奴後，向匈奴投降，單于十分重視他封他為王，他有一個部下叫虞常，對衛律很不滿，虞常蘇武的老副手張勝是老朋友就約見了張勝，虞常和張勝暗中商議想殺了衛律再劫持單于的母親然後再逃回中原，由於虞常做事不夠嚴謹洩露了自己的計劃，被單于抓起來交給衛律去審問了，事發後張勝很害怕，就把虞常跟他密謀的事情告訴了蘇武，虞常經受不住衛律的各種酷刑審問折磨了，就把和張勝策劃的事情供了出來，因為張勝是蘇武的副使所以他命令衛兵叫蘇武出庭受審，蘇武對常惠等人說：“我們這次出使匈奴是為了漢朝與匈奴和好，如今我出庭去受審，使漢朝受到侮辱，我還有什麼臉面回到漢朝去呢？”說著就拔出刀向自己身上砍去，衛律急忙抱住了他，但蘇武已將自己嚴重砍傷，血流成河昏倒了。

單于很佩服蘇武的骨氣，他希望蘇武能夠投降為他效勞，每天他都會派人去慰問蘇武，想讓蘇武心軟，勸服蘇武投降，後來衛律對蘇武使用了一切威脅和引誘手段，也不能讓蘇武投降，單于聽說蘇武這麼堅定後他更想讓蘇武投降了，他下令把蘇武關在一個沒有食物和水的地窖裡，他想以飢餓迫使蘇武投降，然而意志堅強的蘇武並沒有動搖，匈奴人別無選擇，只能命令把蘇武派往北海邊上（今西伯利亞貝加爾湖附近）去放羊，單于對蘇武說：“等到公羊生了小羊，就把送你回漢朝去！”北海是一個終年積雪的地方，荒無人煙，甚至連鳥類和動物都很稀少，蘇武就這樣在那裡艱苦地度過了一段漫長的歲月。

直到公元前85年，匈奴單于死了，匈奴人之間的發生內亂被分裂成三個國家，當時漢武帝也死了，他的兒子漢昭帝即位，漢昭帝派使者到匈奴去詢問蘇武的訊息，匈奴人謊稱蘇武已經死了，漢代的使者也相信了這個說法，後來又有漢朝的使者去匈奴，蘇武的隨從常惠當時仍在匈奴，於是他收買匈奴人，私下會見了漢朝的使臣，他告訴特使蘇武在北海放羊的事情，大使感到驚訝和高興，他想出了一個主意，見了單于之後他嚴厲的斥責：“匈奴既然是想與漢朝和睦相處，那就不應該欺騙漢朝，我們的皇帝在皇家花園裡射下了一隻鳥，綁在鳥腳上的絲綢說蘇武還活著，在北海放羊，你為什麼說他死了？”單于聽了使臣的話之後很震驚，他還真的以為是蘇武的忠義感動了飛鳥，連飛鳥都為他傳達訊息呢，於是他連忙向使者道歉說：“蘇武確實還活著，我們馬上就放他回去”。

蘇武初到匈奴時只有40歲，經過19年的折磨和摧殘，他的鬍鬚和頭髮全白了，他回到長安的那天，長安的百姓全都出來迎接他，他們看見蘇武留著白鬍子和白頭髮，每個人都十分感動，他們都說他是個有氣節的大丈夫。