本山寺建立の際、大師が祖谷山から資材を運ぶ途中、盗人に柱を盗まれ、落としていった一本から地蔵と小堂を地元の方が作ったとの伝説です。