西山又名破额山、破头山、有诗为证："破额山前碧玉流、骚人遥驻木兰舟"。据史载，四祖禅寺唐宋时盛极一时，有殿堂楼阁八百多间，僧侣达千余人。整个古寺建筑殿堂楼阁八百多间，僧侣达千余人。整个古寺建筑殿堂楼阁盘垣交错，层层叠叠，古色古香，主体建筑有天王殿、大雄宝殿、地藏殿、祖师殿、观音殿、方丈室等。除寺高建筑外，还有许多古迹景观，如一天门、二天门、花桥、碧玉流以及毗卢塔、鲁班亭、传法洞等三十余处景观。
近几年来，县委、县政府充分执行党的宗教政策，实行宗教信仰自由，广东省光孝寺方丈本焕大师捐资3000多万元对四祖寺建筑进行修复，使古刹得以重辉。
