位置：位于衡阳市城北三公里合江套下矶头，和位于回雁峰前的回雁塔对称
来雁塔的塔地原是滨湘一三级矶之所在，县志有曾记载“明万历十九年（公元1591年），邑人曾朝节以殿试一甲三名及第，归建此塔。《碑记》谓曾公之倡建者，因蒸湘交汇流急，石矶碍舟。除矶建塔，不啻砥柱，俨插文笔，由是河道利济。”从这意义上着眼，是不是可以因这位状元兴利于民，又给它一个状元塔的别名，与今日的树碑立传的意思接近。
古塔是古城的标志，不过，这来雁塔却远远后于古城，距今只有四百余年，年年秋风紧，风铃响，塞雁南来，看在眼底，绕塔回旋一番，寻求栖息之所。日出月落，寒来暑往，这塔象明代的遗老，送走了大清王朝和蒋家王朝，迎来了大地春回，征雁北去，于今成了古董，文物考古者将它举为省级重点文物保护单位，这还是1983年的事。因为这，它重露历史的峥嵘，新染时代的风采，几百年过去能幸存下来，也算得上是命运的宠儿呀，倘若是作为“四旧”在动乱年代摧毁，那回雁峰也会减了几分光彩。
古时建塔，一般都是七级，故有“七级浮图”之美誉，这塔也是七级，为砖石结构，整个塔高为40米面积为250平方米，在当时也还是花了不少人力物力的。从塔座起，逐级内收，高度由第一级的6.5米逐渐减致0.5米。
登雁塔一观，第一层为石砌，平顶木梁，南边为正门，上边有楷书“来雁塔”三字的汉白玉横额，为清同治十年（公元1871年）维修时嵌入的，系衡阳人兵部右侍郎彭玉麟重修并题书。入塔门，能见东西对称开窗，北边为佛龛，设释迦牟尼佛石雕，高约3米，座上镌有明万历乙酉（公元1585年）夏刘熙妻史氏捐赠等四十八个楷书字。左右有石级螺旋向上，将观者送上塔顶，向南瞩目，可一揽雁城。从第二层起，皆系砖砌，内里穹窿顶或攒顶不一，东、南、西均开有卷门，四面开窗，北面佛龛。第二层跌座观音石雕像，三层置旃坛功德佛石雕像，再上四层，则无佛像，每层各绕以护栏，在于供登塔者凭栏远眺。
来雁塔滨湘江而护雁城，巍峨擎天。不少名人学子，在陆路交通还不发达年代，南行唯此一条水路，常有失意骚人墨客，一登雁塔，以畅心怀。（回雁塔则没有这般优厚地理位置只能是窝居山勘。）大旅游家徐霞客于崇祯丁丑（公元1637年）春二月，趁入衡阳之便，曾登临来雁塔至五层，极目四眺后，在《徐霞客游记》里有记述，写道：“北惟衡岳最高，其次则西之母雨山，又次则西之大海岭，其余皆岗垅高下，无甚峥嵘。而东南二方圆无际也。”清代宋士贵则诗赞曰：“为爱天南回雁处，曾余一柱磔狂澜”好个“柢狂澜”者，虽经历历史风雨的剥蚀，大浪的冲击，今日仍能健在，同回雁峰对峙，和回雁塔称雄于市，被摄入时代的画图，重露芳华，这也应该是雁城的骄傲！
