该堂建于清乾隆十三年，徐氏是西山最大宗族。祠堂大门面东，进门右折才是分布在南北轴线上的主要建筑。整座建筑装饰华丽精致，其粱、枋、斗、替木、粱垫、棹木、垫板等木构件均施满雕刻，其内容有人物戏文、花草动物、喜庆吉祥等图案，雕刻手法采用透雕、高浮雕、平雕等。轩梁及前轩檩上均满施沥粉金线聚锦苏式彩画，颜色金、红、白、蓝各异，色彩艳丽明快，图案简洁清秀。彩画约有40余幅，是江南地区彩绘保存较多的民居古建筑之一。修复后的徐家祠堂同时为徐伯荣艺术馆，徐伯荣是徐悲鸿的堂侄，现代书法家。