聖武天皇の勅願をうけた行基菩薩建立した。大日山密巌寺と号し、女人禁制の道場ととても厳しい戒律を守っていた。弘法大師がここでとう留中、母親が尋ねてきたが、女人禁制で会うことができなかった。嘆き悲しんでいる母親を見て、仁王門付近に護摩壇を築いて１７日間御修法をし、この禁制とかれ、母親とともに入山し孝養を尽くされた。それ以来、寺号が改められた。本尊は薬師如来。