“大夫第”是村中有名的一幢古宅，建于清康熙三十年(公元1691年)，为临街亭阁式建筑，原用于观景，楼额悬有“桃花源里人家”六个大字，门额下“作退一步想”的题字，语意双关，耐人寻味。有趣的是，西递开放旅游后将此楼当作古装戏中小姐择婿抛绣球所在，以此招揽游客掏钱上楼观景，旅游旺季西递村还在这里举办“抛绣球”民俗活动。