神亀の頃、行基菩薩がこの寺を建立、阿弥陀如来像を刻んで安置した。道場寺と号した。大同２年、弘法大師も一光三尊の阿弥陀如来像と自像を刻んで安置した。近くの島で生まれた理源大師も弥陀三昧の行をなし、恵信僧都も釈尊の絵像を納めた。遍歴の行者、一遍上人も堂塔も再建に尽くし、寺号を郷照寺に改めて中興の祖となった。このとき時宗に改宗した。室町時代、領主細川頼之が堂塔を改修、末寺を７ヶ寺つけ加えた。