文昌阁里面供奉文曲星，掌管地方的功名利禄。明代这里是达官贵人读书的地方，清代变为达官贵人子女的学堂，后来成为达官显贵喝茶的地方。原来的建筑早已毁坏，现在的建筑是根据原样修建的。