象山因其形如巨象而名，它与对面的狮子山共同组成黄田十五景的第一景狮象守门。导游介绍说：传说村后的黄子山上有七十二头水牛蛟，由于有狮象守门，它们才不敢下山来兴妖作怪，造成洪水之灾。