书院距今已有八百多年的历史，是宋乾道年间方斫建造的，其祖方干是桐庐人，因此取名为桐江书院。

由于方斫“卓然屹立于众醉独醒之中”，是“东南学者表正之师”。所以桐江书院创办后，名闻遐迩，“四方之学士文人，负笈从游者尝踵相接。

淳熙九年朱熹应邀来桐江书院讲学，亲书桐江书院匾额、桐江书院校牌，题写“鼎山堂”匾额，今挂在桐江书院前殿檐下。

并亲手植苦槠树，寓意“将降大任于是人也，必先苦其心志，劳其筋骨，饿其体肤”。现在还能看到书院前的几颗苦槠树，见证着书院的历史。

仙居历来有良好的读书风气，桐江书院是江南保存最为完好的一座书院，有“江南第一书院“之称，是仙居最早的书院之一。

主要景点有：石牌楼、状元桥、江南第一书院、鼎山堂、御史文化展厅、书院文化展厅、鉴湖等。