传说在汉代，刘公、刘母曾多次拯救海上遇险的船民，后人为了纪念刘氏老人，在岛中部阳坡上建造了一座祠庙，在庙内塑造了刘公、刘母像。从此，南来北往的船只经过此地，船民们都要登岸进庙祈祷，祈求老人保佑他们海上平安。