相传这里曾经是东晋将军刘牢之剿灭孙恩起义部队后,归屯此山,胜归山由此得名。 山脚下是灵岩禅寺 ,胜归山是余姚城北的一处小山,山上郁郁葱葱,登山可以俯瞰余姚城。山上有胡公岩摩崖石刻保护碑,大概这山开发的不够,而且地段比较偏僻,所以爬山的时候,山上人并不多,这里适合爬山锻炼身体。