相传这里曾经是东晋将军刘牢之剿灭孙恩起义部队后，归屯此山，胜归山由此得名。 山脚下是灵岩禅寺 ，胜归山是余姚城北的一处小山，山上郁郁葱葱，登山可以俯瞰余姚城。山上有胡公岩摩崖石刻保护碑，大概这山开发的不够，而且地段比较偏僻，所以爬山的时候，山上人并不多，这里适合爬山锻炼身体。