白鹿寺历史悠久，典故很多，相传宋朝某年益阳瘟疫流行，众医束手无策。一对白鹿衔草进寺，和尚制成草药治病救人，惠济众生。为感恩白鹿在此建药王佛殿。资江十景之一白鹿晚钟是清代该寺香火旺，和尚多，寺内有一口重1000多公斤大铜钟，到晚上和尚撞钟响彻古城十里长街。