因此，想清楚了前因后果之后，当晚苏武就把独子苏元招了过来，企图劝服儿子跟着自己一起去代郡。
苏武是杜陵人，杜陵是汉文帝陵寝的所在的，离着长安城非常近。苏武担心，即便他带着家人回归故里，也无法躲避开政争的影响，故此，这个时候，带着家人去代郡投靠自己的弟弟苏贤，才是最好的选择。
有一句话说的好，好良言难劝该死的鬼，说得就是苏元这样的人。
金知蝉提得建议，而作为父亲的苏武亲自劝说，都没有能够劝得通这个独子。
原来，苏武并不知道，因为霍光给苏武这些忠臣的封赏太薄，这个时候的苏元已经暗中加入到了反对霍光的阵营当中。
何况，苏元在长安城中担任郎中，当得好好的，怎么可能放着上朝官不做，去那么远的代郡干什么。
为此，父子二人大吵了一架。
苏武找了自己的妻子，也是那个一直在家中苦守自己十九年的小妾云朝，问了问，这才知道事情的原委，原来，他的儿子苏元居然和桑弘羊的长子桑迁搅和到了一起。
桑家可谓是富甲天下，桑迁为人豪爽，出手阔绰，交友广泛。
朝廷完全没有苏武音讯的时候，带苏武留在长安城里的家人并不是太好，苏家是靠着弟弟苏贤和金知蝉暗中的接济度日。
苏元平日里的吃穿用度不愁，但想要做个贵公子就不行了。
故此，苏元早早就和桑迁结交为朋友。
苏武归来之后，桑迁就对苏元更好了。
于是，第二天一大早，苏武又把儿子苏元叫到了自己的书房，只问了他一句道：“儿子，你愿意不愿意跟着为父一起去代郡。”
苏元一听又是这话，扭头就想要离开。
这一次，苏武没有挽留自己的儿子，而是直接在书房里写好了一道奏章，写完之后立即派人送进了宫，而他自己则命令家人开始收拾行装。
很快，霍光就看到了苏武呈上来的奏章，居然是辞官养病。
原本这并不是太稀奇，要知道，跟着苏武一起回到大汉朝的九个人当中，有六个人因为老病而选择回老家，不再为官。
尤其是苏武，他在匈奴那里遭了那么大的罪，身体有病实属自然。不过，奇怪就奇怪在，苏武养病居然不会自己的老家杜陵，而是准备去代郡，依附自己的弟弟苏贤，苏武这么做究竟是为了什么呢？。