绮园原为"冯氏花园"，为江南典型私家园林风格。清同治九年(公元1871年)，园主冯缵斋于此建宅三进，次年冯缵斋综合其岳父黄燮清经营的明代故园拙宜园、砚园两废园之精华，在自己住宅"冯三乐堂"后辟地修建园林，建成了现在的绮园。成为浙江园林中的一颗名珠。