红山公园原有一组古庙群，相继建于1797年前后。原古庙群沿红山脚下，由东向西排列：东端是大佛寺，中间是玉皇庙，西端是地臧庙。当年的红山古庙群曾是乌鲁木齐古典建筑的荟萃，也是庙会游览的胜地，每逢庙会，红山的庙宇全部开放酬神演戏，朝供不绝。