阿波一の宮神社と道をはさみ隣り合っているが、神仏混こうの名残り。昔は一の宮神社の別当寺で、神社と寺が同じ境内にあった。弘仁６年、弘法大師がここで薩摩修業をしていると、大日如来が現れ、そのお告げで本尊を刻んで堂宇を建てられた。天亀・天正の兵火で焼失したが、安正年間に今の堂宇が再建された。かつて神宮の本地仏だった伝行基作の十一面観音像が大日寺の本尊となっている。