天平のころ、行基菩薩が大日如来を刻んで開基した。聖武天皇の勅願寺である。大同年間に弘法大師が霊感により寺の奥地の楠の立木に薬師如来像を彫られ、奥の院とされた。「爪彫り薬師」として有名で、首から上の病に霊験があるといわれている。昔は七堂伽藍、脇坊、末寺などあったが、明治の廃仏毀釈で廃寺に追い込まれた。明治１７年に再興が許されて再建、現在にいたる。