大夫第和绣楼建于清康熙三十年（公元1696年）。为四品官胡文照祖居，大门上首嵌砌砖雕“大夫第”三字。正厅堂额为“大雅堂”，天井四周裙板格扇均为木雕冰梅图案，取“十年寒窗”之意。楼上绕天井一周装饰有“美人靠”雕栏，雀替为象征权贵的倒爬狮。“大夫第”的左右序列有桂馥庭和观景楼两个建筑单元。为西递村数百幢明清古民居建筑中少有。观景楼亦建于清道光年间。此楼可作观景之用，楼檐悬挂写有“山市”和“桃花源里人家”的匾额，观景楼下方门额上，嵌有一块“作退一步想”的石雕题额，语意深刻，发人深思。绣楼是大夫第主人利用正屋旁侧隙地，建起的一座临街阁楼，俗称“小姐绣楼”。飞檐翘角的绣楼，建筑别致，玲珑典雅。楼额木刻分别为清进士祝世禄手书“山市”和清代本邑书法家汪恩道隶书“桃花源里人家”，其中“源”字书写时，有意移一点于“厂”头上，益显整体美；尤其是“人”字，活脱脱像一位倾躯伸臂迎接小姐彩球的后生。楼下的小门户比正屋墙体缩进一大步，与主人自书石刻门额“作退一步想”相映照，耐人寻味，果真是“进也风流，退也潇洒”。