聖武天皇の勅令で行基菩薩が天平１３年に堂宇を建立。もとは西寄りの里にあったあが、大同２年に弘法大師がこの地にこられたとき、現在の地に堂宇を移し、十一面観音を刻んで本尊として安置された。寺の西南に「杖の淵」という場所があるが、旱ばつに悩む村人を救うために大師が加持修法し、杖を大地に突き立てたところである。そのときできた穴から水が湧き出てきて、どんな旱天でも枯れることがないという。