宜芸馆始建于乾隆年间，1860年被烧毁，光绪年间重建。《续博物志》：“芸香辟纸鱼蠹，故藏书台称芸台。”芸是一种香草，可以防书中蛀虫，宜芸馆原是藏书之处，所以有这名称。