弘仁６年、弘法大師が四国霊場を開かれた時、この地にひかれ、薬師如来像（本尊、弘法大師作、重文）を刻んで寺を建立した。その際、金剛不壊の護摩壇を設けて御修法を行い、堂塔前に五色の藤を植えられたところから名が起こった。真言密教の道場として栄えたが、兵火にあって江戸時代のはじめ、臨済宗妙心寺派の南山禅師によって再興された。そのとき臨済宗に改宗した。現在の伽藍は万延元年の再建。