この世には、弓矢を守る、八幡なり、
　　　　　　来世は人を、救う弥陀仏。

弘法大師が四国を巡錫中、この地の海上に後光がさし阿弥陀如来が出現した。そこでこの如来を本尊にして堂宇を建立された。その後、僧行教が宇佐八幡の霊告をうけて山城国に男山八幡を建てに行く途中、海が荒れてこの地に漂流した。このとき府頭山が男山に似ているのと、八幡様の本地が阿弥陀如来であることから境内に八幡宮を勧請した。隣接している勝岡八幡がそれである。