邺侯书院在烟霞峰下，原名端居室，是唐朝宰相李泌隐居的地方。据说李泌七岁能写文章，受到唐玄宗的喜爱。燕国公张说称他为“奇童”，宰相张九龄呼之为“小友”。天宝十四年(775)安禄山叛唐，攻下长安，玄宗李隆基奔蜀，太子李亨在灵武(今宁夏回族自治区灵武县)即位，是为肃宗。李泌前往谒见，陈述国家成败的原因，得到信任。但他不想做官，“愿以客从”，参议国事。他常常陪着皇帝乘车出入，长安收复后，肃宗回到京城。但中书令崔圆、宦官李辅国专权，他们看到肃宗对李泌重视，就十分嫉妒。李泌怕自己受祸，遂托故请求退隐衡山。皇帝答应了，赐给他隐士衣服，并替他修了房子。他在南岳除了好神仙道术外，还好读书。韩愈《送诸葛觉往随州读书》诗：“邺侯家多书，插架三万轴”，可见他藏书之多。后来李辅国被诛，代宗立，李泌复出从政。德宗时，位至宰相，封为邺侯。
