双公祠是一座湘北明清祠堂式风格的建筑，白墙青瓦，单层砖混结构，面积近1000米。“双公祠”三个字，是由范仲淹第二十八代后人范敬宜题写。门联为“一湖一楼一记，浮乾坤、控南北、叙乐忧，江山胜景辉映千古;双公双绩双德，联珠璧、会风云、昭日月，文坛佳话流播九州。”这是由北大教授龙协涛撰联，原书协主席著名书法家沈鹏书写。