五百罗汉堂始建于清道光年间，当时华林禅寺的主持祗园大师奉诏修建五百罗汉堂，为此他还亲自到浙江杭州的净慈寺进行了业务考察，把浙江杭州的净慈寺的五百罗汉绘成画卷带了回来，着工匠如样塑造，历时两年终于在清咸丰元年，也就是1851年落成。 五百罗汉体形逼真、姿态各异、面貌喜怒不一，其中一尊称为善德尊者的，却是意大利旅行家马可波罗像，显示了近代海洋宗教文化特色。罗汉堂内还有重一千五百斤的铜铸阿育王塔（阿育为统治印度之王，归信佛教）。二十世纪六十年代“文化大革命”期间，五百罗汉被毁，阿育王塔亦丢失。九十年代，集资重修五百罗汉堂、重雕五百罗汉像，华林寺重新开放。