绮望楼坐落于南门内，依山而筑，楼阁三楹，建造华美。此处原是清代乾隆年间办官学时，供奉孔子牌位的地方。在该楼东南侧，清代时曾建有八旗子弟学校，今已无存。