民间相传，朱棣攻破南京后，建文帝依照朱元璋提前备好的办法，剃度为僧，从皇宫密道出逃。朱棣登基后四处派人搜捕他，走投无路的建文帝辗转来到四川凤栖山光严禅院，此地旧时毗邻大邑，故而常有栖身大邑的说法。
深山幽深闭塞，很难被朝廷探子发现，加之寺院住持是朱元璋宗亲，甘愿冒险收留他。起初建文帝奔走川滇黔各地，想要联络旧部复国，可随着明朝统治日渐稳固，他渐渐放下执念，常年在寺中礼佛修行，最终终老于此。
光严禅院的碑刻、地方旧志、石刻都记下了“建文驻跸”的相关内容，相传他还在禅房墙壁题写过抒发身世悲凉的诗句；加上寺院本就和明朝皇室渊源极深，明初多位藩王暗中接济庇护，慢慢就形成了建文帝终老此地的完整传说。
