明、清時屬多云鄉(xiāng)；民國二十八年（1939）屬第二區(qū)柳傅江聯(lián)保；1949年屬僧塔寺區(qū)柳林口鄉(xiāng)；1952年屬第四區(qū)（肖家坳）區(qū)南寶山鄉(xiāng)；1955年屬肖家坳區(qū)南寶山鄉(xiāng)；1958年屬紅旗（白廟河）人民公社肖家坳管理區(qū)；1961年屬白廟河區(qū)肖家坳人民公社，為第五生產(chǎn)大隊；1975年改第五生產(chǎn)大隊為潘氏祠大隊，屬白廟河人民公社肖家坳管理區(qū)；1984年改潘氏祠大隊為潘氏祠村民委員會，屬白廟河區(qū)肖家坳鄉(xiāng)；1987年白廟河區(qū)分設(shè)白廟河鄉(xiāng)和肖家坳鄉(xiāng)，潘氏祠村屬肖家坳鄉(xiāng)；2001年白廟河鄉(xiāng)和肖家坳鄉(xiāng)合并為白廟河鄉(xiāng)，潘氏祠村民委員會屬白廟河鄉(xiāng)；2013年更名為白廟河鎮(zhèn)至今。