出湖南省浏阳市向东方向行驶，进入一片丘陵地区，地势渐渐升高。距离浏阳市区40多公里的中和乡苍坊村就是胡耀邦的故乡。在这个村子，“西岭胡氏”安身立命，世代农耕，已经有超过400年的历史了。
苍坊村“西岭胡氏”所居，为湘赣两省相交处的罗霄山余脉。山岭自罗霄山蜿蜒而来，至浏阳河南，复又耸起，为“云居山”。此山之南逐渐开阔，称“阳谷”。沿着阳谷南行五六华里，有一座小山岭，名叫“西岭”，胡耀邦的故居，就坐落在西岭的山脚上，背靠山岭。房前有一条宽约数米的溪流，叫敏溪，终年不绝，叮叮咚咚。用今天的眼光来看，确实是一个风景优美的地方。
胡耀邦故居是典型的湖南农家建筑，坐北朝南，小青瓦，砖木结构，据说始建于清朝咸丰年间，如此算来已经有140余年的历史了。此房自建造以来经过多次修缮，以1995年的修缮最为精工细作。目前所存的房屋是胡耀邦的曾祖父胡名钟和哥哥胡名镜当年所共有的，共计19间房，总面积约450平方米。中间的“泮公享堂”最高大，是当年名镜、名钟兄弟供奉其父亲胡中泮牌位的地方，为两家共有，作大客堂。经两代相传，属于胡耀邦父亲胡祖仑家的房子为7间半，约200平方米。
胡耀邦在世的时候，这座祖居已经破旧不堪，濒于倒塌。20世纪80年代的一年，胡耀邦的哥哥胡耀福到北京去，告诉他祖居就要倒了，怎么办？胡耀邦说，年代久了，倒就让它倒吧，外边倒掉了，人就搬到里面去住。总之，胡耀邦坚决反对修复故居。
1995年是胡耀邦诞生80周年，浏阳市决定修复胡耀邦故居。这项工作于1995年2月开工，7月基本竣工，修复了胡耀邦童年时代的住房、父母与兄长的居室，以及正厅、横厅、客厅、厨房等。当年9月，胡耀邦夫人李昭曾回这里参观故居。12月，胡耀邦故居对外开放。到现在已经接待10多万人。眼下来的人越来越多。有人在留言簿上写道：“路虽然难行，我还是来了。”那是因为中和乡远离浏阳市区，靠近江西，道路等级低，从浏阳开车下来，需要两个小时。还有人留言：“胡耀邦，是您救了我。”看来这位落笔者当年一定经历过冤假错案的煎熬。
1998年，湖南省决定拨款20万元，在胡耀邦故居旁修建与故居连成一体的陈列室。这笔资金先到位了10万元。在资金未能全部到位的情况下，浏阳市文管所每个职工集资1万元，于当年完成了陈列馆建设。陈列馆由浏阳市设计院设计。当时的计划还要做得大些，要挖去故居后面的山。后来对设计作了修改，只建了3个房间的小小的陈列馆。
