镇江北固山的历史上出现过许多公祠，供奉一些曾为社会作出贡献的先贤，有彭公祠、杨公祠、陶公祠、冯公祠等，如今这些公祠，有的已成为遗址，有的已改变用途，其中彭公祠、杨公祠和陶公祠，还有踪迹可寻。

彭公祠祀彭玉麟，彭玉麟为清末水师统帅、湘军首领、曾任两江总督，与曾国藩、左宗棠并称大清三杰，与曾国藩、左宗棠、胡林翼并称“中兴四大名臣”，是湘军水师创建者、中国近代海军奠基人，“不要官、不要钱、不要命”的“三不要”是彭玉麟的为人准则，逝后被朝廷追赠太子太保，谥号刚直，并修建专祠祭祀。杨公祠祀杨岳斌，杨岳斌为清末名将、湘军水师统帅，有“湘军第一智将”称号，与彭玉麟共同执掌湘军水师，逝后被朝廷追赠为太子太保，谥号勇悫，并修建专祠祭祀。陶公祠祀陶骏保，陶骏保，镇江人，辛亥革命时期，曾任江浙联军参谋总长，被害后在北固山修建专祠祭祀。

现在的彭公祠，已经化身为一座江南园林格调的庭院，整个庭院连廊相接、院院互连，绿树掩映、佳木茏葱，走在其间，听着隔墙甘露寺的诵经声，闻着随风飘过来的香烟气，一种“曲径通幽处，禅房花木深”的氛围扑面而来，一份清幽、一份淡雅，禅意袅袅、引人入胜。庭院里厅堂的陈设，红木家具、瓷器挂画，很是气派！有走进了大户人家的感觉。

现在的杨公祠，变成了甘露书场，据当地人介绍，有时候会有扬州评话等表演，小庭院里有两棵古树，格外惹眼，一棵是树龄约160年的雪松，一棵是树龄约180年的黄花风铃木。在原彭公祠厅堂一侧的墙壁上，有一块《彭杨二公祠》记碑，年代为清末，字迹已模糊不清，只能依稀看清个别字体，有关资料显示，这块记碑记载了彭杨二公祠建立的过程。

陶公祠原址已经不复存在，现在唯一能看到的是一块“陶公祠”的石碑与一块铭文石碑，这两块石碑被镶嵌在一座院墙上。

历史上的布局，甘露寺后面是北固楼，一左一右分别是杨公祠和彭公祠，再往西就是多景楼，如今布局似乎没变，还是原样，只不过有的原来的还是原来的，有的原来的已不是原来的了。