东晋太和年间(366年-371年)邑人瞿硎先生隐居紫云洞，始开发山门。后人称灵岩洞为“瞿硎石室”，并刻石铭记。至唐贞元年间（785年-805年）始于洞旁建寺，宋治平年间（1064年-1067年）赐号“灵岩寺”。此后，寺之香火旺盛，经久不衰，文人墨客也接踵而至，吟咏较多，诗人周 有“天下之奇山有门，山门之奇天下无”诗句，为后人所传颂。至今石壁上“仙岩壁”、“佛座灵岩”等镌刻，仍依稀可辨。