羊八井寺从红帽系第四世活佛却扎益西于1490年兴建，到1791年停止转世的三个世纪中，陆续增修扩建，形成一座规模宏大的寺庙建筑群