清代屬朱店里小呂河保。
1924年屬中南區(qū)小呂河保。
1946年屬隆望鄉(xiāng)第八保。
1949年屬潢川縣第十區(qū)小呂河鄉(xiāng)。
1954年屬鄧店中心鄉(xiāng)。
1958年屬新里集小呂河大隊(duì)。
1968年新里集公社西遷魏崗,更名為魏崗公社,成立小呂河大隊(duì)。
1976年從魏崗公社析出,調(diào)整歸屬成立談店公社。
1983年6月,撤社設(shè)鄉(xiāng),撤大隊(duì)設(shè)村,屬談店鄉(xiāng)成立小呂河村民委員會(huì),屬談店鄉(xiāng)。
1987年5月8日從小呂河村析出,成立老君臺(tái)村,屬談店鄉(xiāng)至今。