广慈寺原名大悲寺，建成于唐宣宗大中四年（公元850年），属天台宗国清寺系，是浙东著名古刹之一。
广慈寺占地面积约4000平方米,由大殿、禅房、经楼等组成。大殿分前、中、后三进，坐北朝南，逐进升高，殿与殿之间以天井分隔，以廊庑连结。飞甍画栋，檐牙高啄，气势雄伟，雕饰绮丽。清代应杰人《游方岩记》称：“至其规模之大，就余足迹所及，甬之阿育王、与夫天目、普陀而外，实罕见。”前殿以弥勒为主佛；中殿主祀观音；后殿为大雄宝殿，如来佛居中，两旁各有近人创作的9尊罗汉塑像。这些罗汉个性鲜明，风采独具，虽然是佛，简直可以作为普通的人物雕塑不欣赏。
广慈寺虽是一方名刹，但绝大多数善男信女所以不远百里千里朝山进香，主要是为了瞻拜胡公祠里的胡公大帝。
胡公大帝不是佛，不是神，而是人。他姓胡名则，字子正，永康胡库村人。宋太宗端拱二年（公元989年）登陈尧叟榜进士，浮沉宦海四十年，为官清正，政绩斐然，晚年还曾奏免衢、婺两州（辖区相当于今之金华市、衢州市）身丁钱。仁宗宝元二年（公元1039年）病逝后，感恩戴德的宗亲乡里就在他出仕前寄读过的广慈寺左侧立祠造像以志纪念。
胡公祠又叫屏风阁，建在被称为狮子咽喉的石洞之中。洞深10、75米，宽18、7米，支木为柱，不施椽瓦。前围照壁，侧通二门。随梁枋上刻回文图案，檐柱马腿刻镂空双龙。东西次间与厢房合缝之梁架上，各有3根长短不等的垂莲柱装饰。殿内居中而坐的是胡则雕像。胡公坐像后原有井，深不可测，曰研井，俗称狮子喉管。
屏风阁的胡公祠是方岩香火最盛处，也是方岩唯一逃过文化大革命的浩劫，保存完好的古建筑。
