奎虚书藏楼位于大明湖西南岸，遐园西边。整座楼砖木结构，呈砖红色。外表朴实无华，楼体建造是山字型，窗楼结构为欧式，楼后有回廊相连。