大同２年のころ、弘法大師はこの地で牛を引く老人
と出会った。誘われるまま牛の背に乗って歩むと、
楠の大樹の梢に一つの宝珠がかかって、光を放っ
ているのを目にした。よく見ると、これは唐から帰朝
するときに、有縁の地が選ばれるようにと、三鈷とと
もに東方に向かって投げた宝珠であった。大師は、
この地こそ霊地であると感得、堂宇の建立を決心し
た。大師は自ら楠で大日如来像を彫造、眉間に宝珠
を埋めて白毫とした。この楠を奉ってあるのが残木
堂である。