唐乾封元年（666年）追尊老子（李耳）为玄无皇帝，开元二十九年（741年）诏令两京诸州置庙祭祀，因而上清宫又叫玄元皇帝庙，后人又追尊老子为太上老君，所以也称老君庙。
诗人杜甫于公元749年登上玄元皇帝庙，一览洛阳的山河形势，写出“山河扶绣户，日月近雕梁”的名句，吴道子在此绘了《五圣千官像》，宋代的苏东坡也曾于此刻石题句。
上清宫，金元已废，以后多次重修，民国时亦曾整修。抗日战争期间惨遭日军炸弹破坏，仅翠云洞和洞上平台、三间五脊歇山顶老君殿幸存。在上清宫南边和邙山岭下，有玉清、下清二宫。下清宫规模较小，但十分紧凑幽静。附近尚有道士墓塔5座
