神亀元年、即位された聖武天皇は、唐の五台山で文殊菩薩に拝された夢を見て「我が国に五台山に似た霊地があれば、それにそれになぞらえ伽藍を建立せよ」と行基菩薩に命じた。そこで行基菩薩は霊地を求めて遍歴され、ここに寺を建立、文殊菩薩を本尊として安置された。弘法大師はここで瑜伽の行をし、伽藍の復興に尽くし３１番札所に定められた。夢国師はじめ名僧智識が行基、弘法の先達をしたって訪れている。