幼拜柳生宗矩为师，并向其学习柳生新阴流剑道，但是他的武功却着实一般。

民间传说德川家光二十来岁时，以为自己已得柳生宗矩的真传，竟身穿夜行衣孤身溜出二条城，想找个武士比试一下。

结果恰好碰上了正在夜巡的柳生宗矩的儿子柳生十兵卫。

十兵卫见此人行止鬼祟，便上前盘问，只用了一招就将德川家光击倒在地，还补上一脚将其踹到了旁边的河沟里，等扯掉蒙面的头巾才认出是自家的将军大人。