始建于唐代开元年间，前身是道家的弘法道场。唐代开元年间，佛教发展到历史高峰。潜山寺应运而兴，咸宁官宦绅士在葛洪结庐处重建庙宇，并正式命名为“潜山寺”。

鼓声闻数里，佛香氤氲，梵呗警世，青袍黄冠趋之若骛，善男信女络绎于途。

潜山寺其规模与原来的弘法道场大相径庭。此后，潜山寺就供奉以佛教为主、佛道两教的诸多神像，距今已有1280余年的历史。到明代，寺庙已发展到九重十三殿。相传宋代枢密参政知事的冯京、明朝侍部朱延立早年就读寺中，清代咸宁知县陈焕世曾留有“潜山寺怀古”的诗句。

山里的气温更比城市里面的凉，寺内的银杏，金灿灿的炫目，在阳光的照耀下十分的动人好看 潜山古寺内，来往的大多数都是虔诚求佛之人，各个年龄阶段都怀着无比的真诚，从寺门前的观音像到寺内最高出的佛殿，一一上香祈福