白鹿寺非常有故事的，白鹿寺的名字，缘于一个神话故事。唐代名相裴休，贬任荆南节度使时，曾几度来益阳，小住在古木葱郁的江边山上。裴休博学多能，喜欢佛学，夜深人静，他便在山上秉烛夜读，朗朗的诵经声，引得一只仙白鹿驻足聆听，每晚只要经声响起，仙白鹿就飞来听经。一天晚上，白鹿听经的秘密被人发现，仙机泄露，再也不见有白鹿复来。为纪念仙白鹿听经，山民便把白鹿驻足听经的风水宝地，命名为白鹿山，在山下建了一座庙，取名为白鹿寺。