文昌阁在桃花潭景区东侧的主景区外，从老街出来后走到停车场那边左拐大约600米后到达，在号称天下第一祠的翟氏宗祠附近，是供奉文昌帝君的地方。