五岳殿是江南唯一同时供奉五岳圣帝的寺庙。是唐朝著名的石头和尚的弟子“丹霞禅师”天然和尚所建，故名丹霞寺，始建于唐代贞元年间（785-804年）。清末，寺僧玉洁塑了五岳圣帝神像于前殿，以便吸引更多的朝圣者，从此丹霞寺改名为五岳殿。

山门内石柱上刻着一副楹联：经过都是有缘客；归去何须看别山。此联是湘潭人黄笃杰题于1922年。

后殿门额上刻着“七一遗址”，两边有“或实或榷皆是教；一瞻一礼总归真”两行小字，为醒悟所题。关于“七一遗址”还有一个典故：说的是唐代贞元初年，襄阳有一个叫庞蕴的居士来南岳拜会天然和尚，两人默然相对。庞居士用树枝在地上画了个七字，天然和尚看了后，只在“七”字下写了个“一”字作答。庞居士顿时省悟，知道是叫他“见一忘七”，就同天然和尚结成好友。后人便将此地叫做“七一遗址”，并把这故事刻在正殿的花岗石门额上，留传至今。