慈氏塔位于洞庭湖边西南，塔为砖石结构，楼阁式，八角七层，通高39米，下部塔基用五层麻石铺砌而成，塔身全部用青砖砌筑。自第二层起，每层四面均设有小佛龛，共有28个，龛内原供小佛像。每层檐角设小钟，微风吹来，叮当作响。可惜塔为实心，不能登临眺望洞庭风光。
慈氏塔的修建，流传着一个动人的故事：相传古代，洞庭湖里有水妖作怪，经常出来为害百姓，老百姓苦不堪言。于是大家集资，准备修一座宝塔镇妖。在修塔地点附近，住着一户人家，全家人大都被水妖涌起的恶浪吞没，只剩下一个寡妇，人称慈氏。她听说要建塔镇妖，把多年积蓄下来的一点钱全部捐献出来，还日夜不停地为造塔的人们烧茶送水，来回奔走。不幸塔未修完，她就离开了人世。人们为了纪念她，把塔命名为慈氏塔，并在塔旁修建了慈氏寺。
目前游览免票，基本没有任何维护，唯一就是政府在那里挂了一块文物包保护的牌子。一些低矮的平房已经把它包围，最近的房檐离塔身不到1.5米的距离。不久的将来可能再也见不到它屹立在800里洞庭的西南。
