桃李园由正屋和庭院组成，正屋为三间三进二楼结构，前两进为两小套背向三间屋。 二进楼上设有独特的“楼上井”，使整幢房屋光线充足，空气畅通。在通往街面的小门上，石刻有小篆“桃李园”三字门额，寓意“桃李满天下”。