五虎山壁立千仞，谷口深隘，四峡如门，形势险要。元末陈友定曾遣兵在此驻守，至今寨门遗址犹存。隘谷以内平畴数顷,岩洞幽深，溪流屈曲,水声潺潺，附近有灵壁岩、鲤鱼石等胜景。宋朱熹避伪学来游，筑吟翠山楼于下卓，留有诗篇《方山》：“到山不识山面目，但见九鼻盘溪曲。归来兀坐小窗下，倚天百尺堆汉玉”，至今石崖犹存其“怡山良石，神仙所居”的题刻。