　弘仁のころ、弘法大師が五色台の５つの山に五智如来を感得、ここを密教の霊地とされた。芳香を放つ香木で観音菩薩、不動明王、毘沙門天を刻んで祠に安置された。天長になって智証大師がさらに堂宇を建立、先手観音を刻んで本尊とした。後白河天皇の勅願寺として栄えたが、天正の兵火にかかり、のち領主の生駒家、松平家が復興に尽くした。松平頼重のとき真言宗から天台宗に改宗した。牛鬼退治の伝説が残っている。