提到玉海楼，得从孙氏家族谈起，而孙氏家族，得从玉海楼的三代主人——孙衣言、孙诒让和孙孟晋说起。

1、玉海楼的第一代主人‖孙衣言。孙家祖籍福建长溪，五代时期先人迁居瑞安，清道光年间，孙衣言中进士，在翰林院供职8年后，任职安徽安庆府知府，第二年辞官回乡，过起乡居生活，之后又先后出任过浙江官书局总办、署理江宁布政使、江南盐法道、安徽按察使、湖北布政使等职，光绪年间，65岁的孙衣言以太仆寺卿的身份退休，荣归故里。

孙衣言一生收藏了八九万卷的书籍，旧居已经无法容纳，于是在瑞安县城置地兴建了玉海楼，将这些书籍迁藏其中。这些藏书除供自家阅读之外，还向外人开放，孙衣言说过：“天下之宝，我固不欲为一家之储也”。

2、玉海楼的第二代主人‖孙诒让。孙诒让出生在优裕的环境里，从小受到良好的家庭教育，清同治年间，孙诒让中举人，先后出任钦派学部二等谘议官、刑部主事、京师大学堂教习、礼部礼学馆总纂等职，然而孙诒让的人生经历并不一帆风顺，从21岁到47岁，一直参加礼部考试，但屡试屡败，一次都没有通过，于是埋头苦读、潜心著述，广办学堂、兴办实业，最终成了清末享有盛名的学者和社会活动家，与俞樾、黄以周合称“清末三先生”。

孙诒让一生著述丰富，这些著作涉及经学、史学、诸子学、文字学、考据学、校勘学等领域，均具有较高的学术价值，主要成就集中在古籍整理和古文字研究两方面，其中《契文举例》是中国第一部考释甲骨文的研究著作，《温州经籍志》被誉为“最著名的地方艺文志”，代表作主要有：《周礼正义》、《墨子间诂》、《大戴礼记斠补外四种》、《古籀拾遗》、《古籀余论》、《十三经注疏校记》、《籀庼述林》、《籀庼遗著辑存》等。

3、玉海楼的第三代主人‖孙孟晋。孙孟晋是孙诒让的三子，毕业于国立北京法政专门学校政治经济科，先后出任北京政府财政部赋税司科长、盐务署总务处帮办、财政部总务厅会办、温州籀园图书馆馆长、浙江省立图书馆馆长、浙江通志馆总纂等职，1915年~1974年间，孙孟晋分别将玉海楼的珍籍善本捐献归公。

孙孟晋继承了先辈们的学识，主要著作有：《孙逊学公年谱十卷》、《孙徵君籀廎公年谱八卷》、《瑞安五黄先生系年合谱三卷》、《温州藏书家考》、《温州文献述概》、《浙江永嘉学派之源流一卷》、《中国图书整理志》、《中国读书会文献辑略》、《中国文献与民族精神》等。

玉海楼的珍贵书籍曾有一部分一度流入社会，后被搜罗收购后移入玉海楼中收藏，这部分藏书在瑞安博物馆落成后，全部被搬迁进了博物馆。孙家三代通过收藏积累、回馈社会，致力文教、贡献卓越，在历史上会被后人永远铭记。