听雨楼在平遥古城衙门街上，紧邻平遥县衙。从平遥县衙内可以直接登上观风楼。观风楼一面门楼挂匾额写着“观风”，一面匾额写着“听雨”，所以观风楼和听雨楼其实是一个楼，只是楼两侧的匾额文字不同。整个听雨楼建在一座门洞上，下面是街市，人员车马可从门洞通过，门洞之上建有观风楼的两层楼体。整个观风楼造型古朴精美，是平遥古城的标志性建筑之一。