当年这里曾是一个石湾，传说大文学家、大诗人杜甫来延时曾在这里枕鞋夜息，后人便依势凿窟建了祠堂，以示纪念。据记载“川口有唐诗 ，杜拾遗祠，记像石室，登望杜亭，得地高爽，俯瞰河流，祠有石刊墨人骚客多赋凭吊”即此。