后，到处乞食，数次险些饿死。他后来慢慢明白，皇觉寺以云游为名将自己驱出寺院，其实包含祸心，是想让自己自生自灭。自此他便痛恨僧人，待登上帝位之后，对和尚也没有什么好感。虽然后来召集各地高僧分拨给诸王世子，也只不过是为了收买人心，内心里这份怨恨并未放下。

成祖朱棣以僧人姚广孝为谋主，夺了侄儿建文帝的江山，但是心里对僧人更加忌惮，生怕天下又出来一个道衍和尚，自己子孙后代的江山未免有些不稳。是以