弘法大師が１９歳のとき、室戸岬の荒波洗う洞窟で断食して能満所願虚空蔵求聞持を修され、最後の日に明星が口のの中に入って成就、和泉の槇尾山で出家得度された。大同２年、念願の入唐をはたした大師は、再びこの地を訪れて寺を建立、虚空蔵菩薩を刻んで本尊とされた。嵯峨天皇が勅願寺にして以来、歴代の天皇の尊信も厚かった。唐より持ち帰ったという如意輪観音像、薬師如来像、月光菩薩立像の重文がある。