怀远楼是一座二层青砖楼房，是溥仪祭祀祖先的地方。溥仪取《礼记》中“柔远人则四方归之，怀诸侯则天下畏之”句命名。一楼为侍从武官处及宫内府帝室审查局、近侍处、掌礼处办公室。二楼除去溥仪祭祀祖先的奉先殿外，还有尚书府办公室和清宴堂。书画楼的房间中，溥仪从北京故宫带来的善本古籍、名人书画等清宫珍贵文物都存放于此。包括《曹娥碑》、《二谢帖》、钟繇的字、僧怀素的草书、欧阳询的墨迹、王维的人物画、阎立本的真迹等书画国宝。一楼西侧存着宋版书32箱，其中有司马光《资治通鉴》原稿、殿本书3箱、清朝历代皇帝墨迹2箱等珍贵图书。