南朝梁天监十二年（513），衡阳市南区回雁峰山上建云禅寺，隋改名为雁峰寺。唐建寿佛殿，供无量寿佛像。明修有望岳亭、宫室寺、此君轩、望江楼等。清建大雄宝殿、大悲阁、摩云舍、望雁楼、指月寮等建筑。峰前有烟雨池，“雁峰烟雨”为古城衡阳八景之一。
1944年，日军侵入衡阳，山上古林殿阁惨遭焚毁，仅存一座寺门和半间佛殿，寺门上“上达”二字相传为清代一高僧所书。1985年，回雁峰被辟为公园，占地约0、19平方公里。峰前新开辟的雁峰广场中心建有大雁雕塑，高10米，为衡阳市城徽。广场正面是一座雕梁画栋的仿古门厅，匾额"南岳第一峰"为赵朴初题写。峰上重修望岳台、雁峰寺，复原观天池、此君轩。
雁峰寺位于湖南衡阳市城南0.5公里的衡山回雁峰上。回雁峰乃南岳七十二峰之首峰，南朝刘宋《南岳记》载：“南岳周围八百里，回雁为首，岳麓为足。”清同治《衡阳县志》载：“自唐以前，皆云南雁飞宿，不度衡阳，故峰受此号。”回雁峰上的雁峰寺初建于南朝梁天监十二年，后废。唐天宝元年（742年）重建，宋、元、明、清历代皆有修葺。原有殿宇三重，房舍不下百余间。抗日战争时期，被日本侵略军焚毁，仅存前殿和后。1949年后，政府曾派专人多次整修，广植树木花圃，并建以各种亭榭多处，使该寺成为一处重要的游览胜地和香客祭拜修行之所，并被国家确定为湖南省一级文物保护单位。
雁峰寺现存主要佛教建筑是观音殿和寿佛殿，该寺开山祖师为宏宣律师，著名方丈有绍康和尚。该寺传承法系主要是临济宗，近现代亦有律宗法师在该寺授以律学。
雁峰寺现任监院重修法师，88岁高龄，湖南衡阳人，1936年出家为僧，师从醒悟法师。
雁峰寺在衡阳市南的回雁峰。回雁峰是南岳七十二峰中的首峰。世传鸿雁至此而返，寺为唐天宝（公元742年）重建。抗日战争中被日本鬼子焚毁，仅存前殿，目前又重修，成为游览胜地。
