榔梅祠位于乌鸦岭通往金顶的路上，相传真武大帝年少时在武当山修道，途中折下一段梅枝插在榔树上，说道：“吾若道成，花开结果。” 后来，他果然修炼成功，梅枝在榔树上也插栽成活，开花结果。因为榔树上长着梅树，人们就把这树叫做榔梅树，树果叫做榔梅果。

到了清朝，武当山的榔梅树完全绝迹，人们遍访武当寻找榔梅而不得，成为千古之谜。如今，空有榔梅祠，再不见榔梅果。

现在的榔梅祠是一座小型道观，隐藏与乌鸦岭的崇山之中，榔梅祠虽小，但是造型别致，红墙黛瓦景色如诗如画。