弘法大師の生家、佐伯家の氏寺として推古天皇４年に建立、世坂寺と呼ばれていた。唐に留学した大師は、大同２年から３年がかりで唐の青竜寺になぞらえて寺を造営された。そして持ち帰った金剛界、胎蔵界の曼荼羅を供養し、本尊に大日如来を勧請して曼荼羅寺と改称された。慶長年間に兵火のため焼失したが、その後再建された。客殿前の見事な松が、大師お手植えの「不老の松」といわれている。