传说，古时有一位老妇人带着孙子经过文笔岭，孙子突然腹痛不止，老人无计可施，便祈祷神仙保佑。随后老人在附近草丛中看到巴掌大的观音像，孙子的腹痛也随之痊愈。老人认为这是观音显灵，回家后传颂观音功德，附近村民便在此修建了观音庙，因为观音突然在山上显灵，像是从天外飞至此地，村民们便为寺庙起名为“飞来观音庙”。