孝謙天皇の勅願で行基菩薩が開基、本尊の薬師如来、不動明王を刻んで安置された。その後、伊予入道源頼義朝臣、僧堯運が再興に力を尽くし光明寺と号していたが、弘法大師が四国霊場に定められたとき、現在の寺号に改められた。一遍上人が学問、修行された寺としても知られている。上人は地元の豪族、伊予守河野通弘の子で、太宰府で念仏の教理をうけ熊野にもうで、諸国を鉦をたたいて遊行した。