黄公望中年后曾任中书省平章政事张闾属下小吏，因张闾逼死人命而无辜受牵连入狱。出狱后便隐居不仕，归常熟并加入“全真教”，自号“大痴道人”、“一峰道人”。常来往于常熟、松江、富阳、杭州一带，讲道卖卜，邀游山水。