民间相传五代王审知建立闽国后，就开始在泉州州治前建双阙（ 瞭望防卫楼），下垒石如城，或许就是威远楼最早的雏形。元代泉州中外交通空前活跃，泉州跃居世界交通贸易巨港。至正九年（1349） 泉州达鲁花赤偰玉立重新择址在唐宋古泉州州衙前建一座规模宏伟的衙门，衙门上有高大的谯楼，即威远楼，并请三山（福州）名士吴鉴撰写碑记，以记其盛。清康熙丁未（1668），泉州府督帅王庀材重修谯楼，新竖立匾额曰“威远”，盖为天南保障之雄观也。这是泉州谯楼称“威远楼”之始。