格季米纳斯骑士雕像矗立在教堂广场东侧，它建在一座古代异教设施的遗址上。