长期受海水侵蚀的影响，灯塔下方的山脉形成了100多米的悬崖峭壁，神仙岩坐落于此，传说曾有神仙在此游玩作乐因此得名“神仙岩”，据地质学家勘探分析此处是约12万年前干冰期的产物。在神仙岩上可以看到一个形单影只孤零零的石头，这正是望夫石。神仙岩上有一块望夫石，据说是一个女子天天在此等候被强行带到日本的丈夫归来，最后化成了石像。