寂光院据传是公元594（椎古2）年由圣德太子所建。它作为一座尼姑庵而颇为有名，12世纪时，一个平氏女儿嫁入皇家，贵为高仓天皇的皇后，但在文治元年（1185）平源两氏战争中，平氏全族被灭，她带同2岁的儿子安德天皇跳海，儿子死了，她却获救，后来削发为尼，最后在寂光院隐居，惨度余生。