柚木寺共三层，为方顶重檐结构。建筑底部数百根柚木立柱支撑，外围为四重檐结构，木雕层层叠叠，立体感很强。整个建筑每个角落都缀满了繁复的纹饰和人物雕塑，使这座存在了150多年的寺庙成为木构建筑的经典。