安養寺は天平９年（西暦７３７年）聖武天皇の勅願により草創され、本尊阿弥陀如来は唐土天台山の霊木を行基菩薩が彫刻されたご尊像だと云われている。「一切衆生ことごとく皆成仏せしめ、極楽世界安養浄土へ導きたもう」とて、山号を西來山とし、寺号を安養寺とした。
　元享２年（西暦１３２２年）赤松入道圓心、小寺相模守頼季、大塩次郎範景らが志願して、京都建仁寺の開山千光国師の弟子、紫雲竺翁禅師を請して参禅の師とした。
　嘉吉元年（西暦１４４１年）赤松大膳太夫入道性具満祐が逆心したとき、山名乱入の兵火により当寺ことごとく焼失する。
　文明元年（西暦１４６７年）赤松従三位左京太夫政則が圓光国師に帰依して住職させ、百石百貫の寺領を寄附し、仏殿、方丈、客殿、庫裡、僧坊、鐘楼、浴室、大門の外、紫雲院、聖寿庵、東林坊、実際院、性印堂、朝陽軒、延福寺、鎮守末社、山王の社など建立して、由々しき大伽藍とした。
　天正５年（西暦１５７７年）羽柴筑前守秀吉が織田信長の命を受け御着城を攻めたとき、兵火により堂塔、僧坊ことごとく焼失す。本尊阿弥陀如来は猛火を逃れ、有徳の知識人堯山和尚が柴の庵を結び安置す。
　慶長５年（西暦１６００年）姫路城主池田輝政公の長臣、荒尾志摩守隆重公によって再建され、五石永代寄附の御黒印下さる。また五輪の石塔を建立し、池田輝政公の歯一枚納めたもう。
　元和３年（西暦１６１７年）長尾和尚代に大門、石垣などを造営す。志摩守嵩就公より白銀５０枚、御一門より白銀３０枚の寄附を受く。
　元和５年（西暦１６１９年）姫路城主本多甲斐守が菩提寺をお所替となり、姫路景福寺十四世然室尖廓大和尚が曹洞宗ご開山となる。
　文政４年（西暦１８２１年）９月、西国三十三カ所観音霊場、大師堂、善光寺堂を建立す。印南郡三十三カ所観音霊場第十三番札所となる。