用明天皇の２年のこと、豊後の富豪、真野長者が船で難破に向かう途中、高浜沖で大シケにあった。観音に祈ったところ、滝雲山の頂から後光がさしシケはおさまった。山に登ると、草庵に十一面観音が安置してあった。その恩に報いるため一夜で堂宇を建てたという。その後、聖武天皇は鎮護国家の道場とされ、法華経など書き写し埋められた。弘法大師もここで護摩修業され、法相宗から真言宗へ改宗された。