弘法大師がこの峰で虚空蔵聞持の法を修されたとき、五剣を地中に埋め、山の鎮護とされたので五剣山と呼ばれている。そして千手観音を刻まれ、堂宇を建立して安置された。天長６年のことである。唐に留学される前にここにこられ、求法の前効をみるために焼き栗８個を埋められたが、帰朝してみると栗が見事に発芽、成長していた。八栗寺の名はここからついた。本尊は聖観音だが、同じ境内にある「聖天さん」歓喜天に人気がある。