旧祠原在沙门之西；始建于明弘治年间，后湮废，万年十二年（1584年）邑令章有成迁建今址，越二十三年，邑令欧大成重修，迭有兴废，同治间邑人孙衣言以倡修改今名。
民国13年瓯海道尹沈致坚集资重修，祠凡前后两进。

景区的特色是湾多、滩广、洞幽、礁岩密布，其层次纹理清晰，色彩丰富，造型奇特。
这些海蚀、礁岩、滩涂风光加上海滨的流瀑布、渔村的风俗民情、古戏台、明代烽火台及民间的神话传说，使西湾成为一个以海蚀、礁岩、滩涂风光为主体的尚代开发的海滨海岩型风景区。

公园大门内屹立白鹿雕塑，取古时建城"白鹿街花"传说，园内有中山纪念堂。
公园的南端有积谷山，山的西簏，谢灵运任郡守时，于此建楼造池，留下"池塘生春草，园柳变鸣禽"的名句，后人遂称其楼为"池上楼"，池为"春草池"。