夏家翰林第原是一般的民居，占地不多。夏同善钦点翰林并获赐“翰林第”匾以后，才得以扩展而稍具规，有关夏家和翰林第，那是一则“学而优则仕”并因此荣宗耀里的故事，但却是乌镇历史上的事实。