相传南北朝时炼丹士王霸居此“炼丹成药，点石为丹”。每逢饥岁，便靠卖药卖金换米救济穷苦百姓。后来王霸“服药仙蜕”人们便在他的故居建寺。隋末废圯。唐咸通八年重建，定名为“清禅寺”，后改"延寿寺”、“怡山西禅长庆寺”俗称“西禅寺”