灵源山香火最旺盛的还属位于灵源山腰的灵源寺，相传为明洪武初年陈友谅部将张定边创建，始名“灵源庵”，奉祀观音大士。明永乐七年（1409年），寺左又建霁云书院，右建斋堂庵舍和夫人妈宫，并筑寺庭围墙，初定规模。