宜芸馆始建于乾隆年间，1860年被烧毁，光绪年间重建。芸是一种香草，可以防书中蛀虫，宜芸馆原是藏书之处，所以有这名称。宜芸馆在清漪园时为乾隆帝的书库，颐和园时为光绪帝的皇后隆裕在园中的寝宫。整个建筑古香古色的，很有历史感。