书院的建筑风格整体上来看，朴素简洁，恰到好处的反映了退溪本人的生活作风以及研究学术书生们的高风亮节。书院大体上分为陶山书堂和陶山书院，其中陶山书堂是退溪先生居住和传授弟子知识的场所，而陶山书院则是在退溪先生去世后，建立的书堂和书院。陶山书院建于1561年(明宗16年)，据说是在退溪先生归乡后，为研究学术问题而建，内部较古老的建筑，都是退溪先生亲自设计的。并且，当时还修建了供儒者居住的宿舍“农云精舍”，以及下库直舍。