风采一词是来自于宋襄赞美余靖的诗句：“必有谋猷俾帝右，更加风采动朝端。”宋襄是借用“风采”一词比喻余靖的学识和品格。“风采楼”三个字的题额，是明代书法家陈白沙茅笔字的存世珍品。

风采楼作为在韶关市的地标之一，在明弘治十年（1497年）韶州知府陈镛为纪念韶关籍名臣余靖而兴建，曾在1928年时因扩建马路被毁，如今的风采楼为1934年重建，为钢筋混凝土结构，1960年公布为韶关市文物保护单位。曾一度改名为“东风楼”，后来恢复了原名。

风采楼与北京天安门、故宫为同时代同风格的建筑物，楼高22米，正方形，顶为三重飞檐翘角，正中有华饰小圆顶。占地100多平方米，保持原有建筑的一些特色，楼底可通行各种车辆，北门建有铁栅小门，循回环形楼梯而上便是一层主楼，东西巩园上有“风采楼”三个大字，风采楼内有一块玉石碑，署有《风采楼前后记》 。