用明天皇の勅願で聖徳太子が建立、天平年間には行基菩薩がこられている。大同年間、弘法大師は長らくとどまられ、本尊の大日如来、脇仏の不動明王を刻まれた。大日如来の胸中には、唐から請来した約５ｃｍの大日如来金像を納められた。そして唐木栴檀で本尊を薫し護摩の秘法を修された。付近の婦人が難産で苦しんでいるのを見て、ご祈願されたとき「女人成仏、安産、子育て、身代わり」の誓願を立てたのにちなんで子安大師がまつられている。