神亀元年、聖武天皇の勅願で行基菩薩が薬師如来を刻んで本尊とし、１２ヵ寺を建立した。延歴１４年、弘法大師が桓武天皇の勅願所として再建、脇仏に日光、月光菩薩を刻んで七堂伽藍をととのえられた。このあたりが水のとぼしいのを見て錫杖で土を掘ったところ、清水がコンコンと沸きでて「宝医水」と名づけられた。「目洗い井戸」がそれである。海の彼方から赤亀が運んできたという銘鐘もある。