奈良朝のころ、法相宗の聖僧、日証上人がここに草庵を結んでいた。大宝３年３月のこと、空に彩雲がたなびき、妙なる琴の音とともに神船が浮かび出て「われは宇佐八幡大明神なり。王法、仏法の守護のため、この霊峰にとどまらん」という神の声を聞いた。そこで上人はその神船と秘琴をまつり、琴弾八幡としたと伝わる。大同年間に弘法大師はここに詣られ、八幡の本地仏、阿弥陀如来の画像を描いて本尊として安置された。