因杜甫曾作为节度参谋检校工部员工郎，故称杜工部，祠由此得名。祠堂一屋三楹，封山亮柱，高台石阶，花窗格门，肃穆庄重。祠内有明、清两代石刻杜甫像，其中明万历三十年（1602）石刻杜甫半身像是草堂遗存最早的石刻像。宋代诗人黄作上都推崇杜甫，以杜诗为宗，所以清代将黄庭坚、陆游配祀于杜甫像两侧，故又称三贤堂。堂中有“荒江结屋公千古，异代升堂宋两贤”的联语。壁间还嵌有清乾隆、嘉庆年间石刻“少陵草堂图”，刻工精细，解放后即是据此图恢复草堂旧貌。