宜芸馆位于玉澜堂身后，靠着乐寿堂，是当年光绪皇帝与裕隆皇后在颐和园的住所内。裕隆皇后也是叶赫那拉氏，是慈禧太后的侄女，宜芸二字为藏书之意。