空海大师在开山初期，为了使僧人潜心修习佛法，设立了不准女性入山的规矩，所以在高野山各个入口处都建起了供女人参拜的建筑，也就是女人堂。女性只能在山下入口的女人堂遥拜，晚上则在此诵读经文。现在整座高野山仅剩下了最后一座也是唯一一座。