这里有古老的传说，当年相传当年明朝永乐皇帝朱棣定都北京后，就下令派人为自己和后代子孙选择“万年吉壤”。延寿寺所在的地界虽未被选为“万年吉壤”，但刘伯温非常喜欢这处风水宝地，不忍舍弃，因而在此修建了寺院，取名延寿寺，意寓大明江山益寿延年。