神功皇后の三韓征伐のとき、先勝を祈って天照大神はじめ諸神をここにまつった。その後、行基菩薩が十一観音を刻んで安置し神仏合わせてまつり、大同４年には勅命で観音堂と名づけられた。
延歴年間には弘法大師が四国霊場と定められた。明治には廃仏毀釈で天照大神をまつる神峰神社だけ残し、本尊の十一面観音は金剛頂寺へ移し廃寺の浮き目にあったが、明治１７年に真崎天竜という僧が再興した。