大同２年、弘法大師はこの地を訪れ、延命地蔵菩薩像を刻んで本尊にされたのに始まる。慶長のころ、土佐藩山内一豊が沖を航海中、大シケあい危ないところ、どこからともなく僧が現れ船カジをとって室戸港へ導いた。それ以来、本尊は「カジ取り地蔵」の名で親しまれ、海上安全の守り本尊として信仰を集めている。帰京する紀貫之も大シケにあい、この港に避難したことが「土佐日記」にも出ている。