一座山若没有文化的浸染，也就只是一块没有生命的石头，而冠豸山又被称作“正义之山”，原因是冠豸山从宋代起就兴理学，留有许多理学家的足迹和摩崖石刻。特别是明清时期书院林立，文化积淀深厚，成为连城文化的摇篮。谢氏书院“东山草堂”就是其中的佼佼者，堂中挂有纪晓岚的墨宝木匾“追步东山”，意思是寄望谢氏后辈子弟发奋读书，“东山再起”超越前辈。与之相对的是林则徐的墨宝“江左风流”，意思是江南俱出风雅名流之士。