百済から渡来した僧が大宝元年にこの地にお堂を建て、十一面観音を安置したのにはじまる。その後、弘法大師が四国霊場と定められ、開基の年号にちなんで大宝寺と名づけられた。保元年間に後白河天皇が病気回復を祈願され全快したので、妹宮を住職として遣わされた。陵権現、五輪塔はその名残りといわれる。天正の兵火で焼失、さらに明治７年にも全焼したが、その後再建された。