大同２年のころ、弘法大師がここにこられたとき、牛を引く老人と出会った。その老人のすすめで牛の背に乗られてしばらく行くと、楠の大樹に果物がなっているかのようにかかっている宝珠を見つけられた。こここそ仏教を広める霊地であると感じられ、その楠で大日如来を刻んで宝珠を眉間に納められた。寺号はこの伝説によるが、牛や馬の守り本尊として有名。旧６月のうしの日に「うり封じ」の供養がある。