伊予の太守、越智玉純が勅令で鎮護国家の道場として建立、行基菩薩が本尊の薬師如来を開眼供養した。弘仁４年、弘法大師が四国霊場に定められたのを機に法相宗から真言宗へ改宗、寺号も安養寺から石手寺へ。石手寺となったのは衛門三郎再来の伝説による。大師を虐待し仏罪をうけた三郎は悔い改めて遍路にで１２番札所で行き倒れる。大師が現れでて「再来のときは河野家の子」と予言、小石を握らせたところ、予言どおり石を握った子が生まれた。