沉香阁原来是潘家的家庙，豫园这一带原来都是潘家的地盘，潘家做官做的最大的是潘恩，曾任明朝刑部尚书，他儿子潘允端是豫园的修建者，也是沉香阁的迎立者。