養老７年、行基菩薩が薬師如来を刻み本尊として安置したのにはじまる。景山密院繹木寺と号していた。弘仁年間に弘法大師がこの寺の奥の山中で１７日間修行されたとき、満願の日に金剛の杖で地中をつくと清水が滝のように湧き出て鏡のような池となった。これにより清滝寺と改めて四国霊場にされた。平城天皇第３皇子、真如上人ゆかりの寺である。インドへ旅立つとき、逆修塔を建てられた。