天平勝宝元年、和気道隆という長者が荘園にある桑の大木に怪異なことが起こったので、その大木を切って薬師如来の小像を刻み草庵にまつった。のちに弘法大師が薬師如来の大像を刻まれ、その小像を胸の中に納められた。長者の子、朝祐僧都は私財を投じて七堂加藍、２３坊を建立、智証大師も五大尊を刻んで護摩堂に安置された。その後、大地震、大風、火事で堂塔は破壊、焼失していったが、戦後復興した。