灵岩山寺是在春秋吴王夫差的馆娃宫遗址上兴建的，馆娃宫是夫差安置西施的地方。公元前473年，越王勾践从水路攻进吴国，把这富丽堂皇的馆娃宫付之一炬，烧成断壁残垣。现今遗迹犹存的先秦园林遗址，中国可能除了馆娃之外，再无它处。 东晋时有人在灵岩山吴宫遗址修建别业。后舍宅为寺，南朝梁天监二年（503年）扩建为寺院，名秀峰寺，唐代改称灵岩寺。西部以花园为主，俗称山顶花园。园内玩花池相传西施于此泛舟采莲。池北砌有假山，上有“长寿亭”，相传为西施梳妆之所。