遐昌阁座落在城东万寿宫内，背后东岭挺秀，前面沱水东流，环境旖旎雅致。
阁楼建于清朝咸丰四年（1854年），为六方木质阁楼式结构，共三层，高20米。阁以抬梁式大木结构为主体，阁内12根大柱支顶，一层一檐，逐层向内收缩，似塔而非塔，造型独具匠心。屋面下层平缓而上层陡峻，各层出檐起翘，檐下卷棚支撑；第三层屋面6条垂脊交汇于一点，上盖彩色玻璃圆葫芦宝顶，古朴典雅。
遐昌阁内部装修古色古香，下层花窗门6扇，上有各种花鸟鱼虫和人物浮雕。正门额匾书“览胜舒怀”，侧门额匾题“正气生辉”，内顶天花有“龙凤戏珠”图案。内前柱刻联云：一阁临江，南华来对面；万山朝凤，东岭在当头。后柱有长联一幅云：登杰阁，瞰沱江，看清河荡漾，载将乡土情谊，汇入湖海波涛，缠绵萦绕台湾岛；望江城，钟剑气，喜林壑幽深，孕育民族节概，驰骋文坛疆场，荟萃风云武陵山。
沿木梯上二楼，正面匾书“俯仰吟”, 两边大木柱上刻有一幅对联，联曰：举眼四欣山似画，凭窗重快阁临江。楼顶绘有“双龙抢宝”彩画，四周有“老鼠结婚”故事数十幅，还有著名画家黄永玉的巨幅国画《荷花丹鹤图》。
登上三楼，楼顶一幅“双凤朝阳”图令人顿感祥和。楼上曲廊廻绕，扶廊远眺，见九曲沱江，大河如练，岸柳如烟；百仞南华，苍松滴翠，古柏参天。此时，六面来风，使人顿感超凡脱俗，神清气爽。
