对于叔父杜孚，杜士仪并没有太多的印象。在记忆之中，杜孚早年便开始为了出仕四处奔走，很少在家中停留。后来出仕，便带了家人上任，几乎没回过樊川。

樊川之地虽是士族云集，但大姓却无过于韦杜。他这一脉，高祖杜君赐曾仕隋朝为官，大唐立国之后，赠怀州刺史。曾祖父杜正谦任庆州司马，而祖父杜元安，则是只出仕至泾阳尉。他生父早亡，嫡亲叔父杜孚在族中几位长辈的奔走帮助下，费尽千辛万苦方才以门荫补皇庙