吕府建筑群是浙江省具有文物价值的两处古住宅建筑群之一，另一外是东阳卢宅。 吕府是明代嘉靖年间礼部尚书吕本的故居，占地四十八亩（东起万安桥，西迄谢公桥），南向共有十三座厅堂，所以又被人们称为“吕府十三厅”，是一组规模宏大的建筑群。所有建筑依三条纵轴线和五条横轴线设计布局。中央纵轴线依次为牌坊和厅四座，第五条横轴上是楼房，蓁均为平房。整个建筑群的南面、西面和北面环水，用河道同外界隔开，只有东面是一条石板路，通向街市。这种格局很像《水浒传》中描写的祝家庄，虽然规模比不上祝家庄，但是那种环境气氛，防范的布局倒是相仿的。其中永恩堂保存较为完整，原为正厅，吕本死后改为祠堂，是吕府建筑群的主要建筑，它通面宽三十六点五米，通进深十七米，共分七间，为什么是七间？据考，这是明代森严的等级制度的表现，明代规定，官位一品至二品的厅堂为七间，吕本是一品官司，他是明代从洪武十三年（公元一三八○年）起宫迁废除宰相、设立内阁后的五位阁员之一。
