出瑞玉庭前行数步，便是“桃李园”。桃李园亦建于清咸丰年间，由正屋和庭院组成，系西递徽商胡元熙的旧居兼私熟蒙馆。正屋为三间三进二楼结构，前两进为两小套背向三间屋。二进楼上设有独特的“楼上井”，使整幢房屋光线充足，空气畅通。而且，楼上木雕扶栏板权作小姐相亲孔洞，供小姐偷偷观看来往家中的男青年，能否挑选到如意郎君。二三进之间用粉墙相隔，中间有门相通，门上有隶书“桃花源里人家”石刻横额。在通往街面的小门上，石刻有小篆“桃李园”三字门额，寓意“桃李满天下”。