邺侯书院原名南岳书院，原址近南岳闹市。唐元和（公元806--820年）至长庆（公元821—824年）间，随州刺史李繁创建，用以纪念其父李泌。据说李泌七岁能写文章，受到唐玄宗的喜爱。燕国公张说称他为“奇童”，宰相张九龄呼之为“小友”。后来李辅国被诛，代宗立，李泌复出从政。德宗时，位至宰相，封为邺侯。

南宋初鸿儒胡安国父子来岳，于此书院讲授《春秋》之学。嗣后南宋许多理学家都来此讲学。讲读之风，极盛一时，湖湘学派实发祥于斯。宋宝庆（公元1225—1227年）年间，书院迁建集贤峰下，更名为邺侯。