推古天皇のころ、薗子の尼が志度浦に漂着した霊木で十一面観音を刻ませ本尊とし、１間４面の道場を建てて安置したのにはじまる。この寺は伝説に色どられている。志度寺縁起にある「海女」もそのひとつ。藤原鎌足の娘、白光女は唐の高祖皇帝の妃となり、奈良興福寺へ３つの宝物を送った。ところが、そのひとつ面向不背の玉が志度沖で竜神に奪われてしまった。それを取り戻しにきた藤原不比等は海女と結ばれ子をもうけるが、海女は我が子の立身を願って決死の覚悟で竜神から玉を取り戻すという話。