整个建筑群由玉海藏书楼、孙诒让故居和百晋陶斋组成，分别坐落在南北相向的三条纵轴线上。玉海楼建筑最大特点是集藏书楼功能、浙南优秀民居特点和私家园林风范于一体。玉海楼坐北朝南，三面环河，前后两进，左右回廊，庭院清幽，花木扶疏，是浙江四大著名藏书楼之一