谢月兆楼位于宣城市区，系南齐著名诗人谢月兆任宣城太守时所建。谢月兆于南齐明帝建武年间（公元494年-496年）出任宣城太守，于城关陵阳山顶建造一室取名曰“高斋”，在任期间理事、生活于此。曾作《高斋视事》诗，又作《高斋闲望》、《后斋回望》等诗篇。
唐初，宣城人为怀念谢月兆，于“高斋”旧址，新建一楼，因楼位于郡治之北，取名“北楼”，又因该楼建成时，敬亭山已经扬名，登楼可眺望敬亭山，故又称为“北望楼”。唐代李白曾多次来宣城，登此楼凭吊，赋诗抒怀。《秋季登宣城谢月兆北楼》诗脍炙人口，千古传唱。诗曰：“江城如画里，山晚望晴空。两水夹明镜，双桥落彩虹。人烟寒橘柚，秋色老梧桐。谁念北楼上，临风怀谢公。”由于李白之诗广为传颂，故该楼又被称为“谢公楼”、“谢月兆楼”。此后在楼的周围建有条风、清署、迎春、观风、双溪、怀谢等亭阁。历代文人名士慕名而来，登楼观赏者络绎不绝，赋诗题咏者难以计数。
唐代白居易曾随长兄白幼文寓居宣城并作有《窗中列远岫》一诗，抒发登此楼的观感。该诗被当时的宣歙观察使所知，大为赞赏，并举荐其赴京应试，得中为第四名进士，从而步入仕途。直至他晚年还作有《寄题郡斋》诗曰：“……无复新诗题壁上，虚教远岫列窗间。再喜宣城章句动，飞觞遥贺敬亭山。”
谢月兆楼与岳阳楼、黄鹤楼、滕王阁并称为江南四大名楼。
