两年前，为民部尚书的他就因为在接待上贡的机关报罗使者时，说错话而导致除职。当时问起新罗国冠制由来，新罗使者说：“皮弁遗象，哪有大国君子而不识皮弁的呢？”李子雄说：“中原无礼，所以求之于四夷。”使者说：“从我到这儿以来，除了你刚才这番话外，还未见什么无礼。”御史台因李子雄说话失言，弹劾其事，他因此被免职。

在东征前，杨广招募骁果，本来是让李子雄去组织指挥的，他到任马上指挥，六军整肃