根据一份关于1192年的文件记载，维尔茨－博福尔家族的沃尔特被看作是首位博福尔王。城堡历史最悠久的部分可追溯道公元十一世纪初。这个小型的圆形堡垒建造于巨石之上，四周被一条宽沟渠与一面朝向河谷的附加墙环绕。在十二世纪的上半期，城堡增建了一座护塔，而入口大门也被挪动并扩建。1348年，博福尔家族艾黛莱德与奥利家族威廉的联姻标志着城堡转变为奥利王朝名下财产。奥利国王朝着河谷的方向将城堡进行了扩建。带水井的侧楼、上层房间及主塔楼的下部均建于此时。自1539年起，博福尔王位被Velbrück家族的贝纳德继承。