四国遍路の結願寺である。行基菩薩が天正天皇の勅令をうけて開基した。弘法大師が唐から帰国後、四国霊場をめぐられたが、この寺を衆生のための密教結縁の道場と定められた。そして一宇を建立、薬師如来の座像を刻んで本尊として安置された。唐より持ち帰った三国伝来の錫杖も納められた。境内は山の大きな窪みにあるので、この寺号がついたといわれる。寺は女人高野と呼ばれている。