和銅元年、諸国をめぐって仏教を広めていた行基菩薩がここを修業地として寺を建立したのが起こり。自らの白檀の木で薬師如来を刻んで本尊にされ、日光、月光菩薩も合わせてまつられた。唐から帰国された弘法大師はここの伽藍を修復され、四国霊場に定められた。伊予の河野氏の部将で久谷城主、平岡遠江守道倚の五輪塔が太子堂前にあるが、室町時代に荒れ果てていた寺の再興に尽くした人である。