弘法大師が７歳のとき、依斯濃山と呼ばれるこの山の頂に立たれ、衆生済度の誓願を捨て身ですると、釈迦如来が現れた、という有名な霊地である。その後、現れた釈迦如来を刻んで本尊として安置し、我拝師山と改めてこの寺を開かれた。四国霊場を開創されるとき、この捨て身ヶ嶽に再びのぼられ、求聞持の秘法を修され、虚空蔵菩薩を刻んで奥の院に安置された。