张玄素原本不是李世民这边的人，隋朝末年，天下大乱，张玄素原本以隋臣自居，好不容易等到隋炀帝死了，张玄素没了忠心的对象，于是只好选择站队，然而他的运气实在太差了，站队站错了地方，不小心投到了窦建德的麾下，还没有风光两年，窦建德被李渊灭了，于是张玄素只好继续站队，终于归顺了大唐。

李家父子还是很赏识他的，因为张玄素确实是治世之才，事实上张玄素归顺大唐后也很争气，没让李世民失望，李世民刚登基，