民国25年(1936年)10月19日，鲁迅逝世。22日，鲁迅丧仪在万国公墓礼堂举行，后遗体葬于公墓东侧F区，编号为406～413穴位，面积50多平方米，规模亦简。
中华人民共和国成立后，政府即筹建新的鲁迅墓。1952年春，华东文化部等有关部门经过酝酿，选择临近鲁迅故居、鲁迅生前到过的虹口公园建新墓。1956年1月，国务院决定在鲁迅逝世20周年之际迁墓。同月中旬，上海成立由市长陈毅任主任委员的鲁迅先生坟墓迁建委员会。6月初，中央批准由设计专家陈植主持的设计，并拨工程费90万元。同年7月19日开工，10月9日竣工。
新建鲁迅墓，墓前铺有天鹅绒草皮，墓正南向，平面呈□形，用苏州金山花岗石砌成，建筑面积1600平方米。墓地中间是长方形绿地，四周围植瓜子黄杨，绿地前沿置斜卧式“全国重点文物保护单位”标志石。绿地中央偏后，建有鲁迅坐像。像基座用四块花岗石镶成，上部浮雕花饰图案，采用鲁迅亲自设计《坟》扉页的云彩部分; 图案下刻阴文鲁迅生卒年份：“1881～1936”。鲁迅像总高度1.71米，作者浙江美术学院教授萧传玖。绿地两边通道外沿各植一排柏树。经通道拾级而上，是一个可容四五百人的方形平台。平台左右植有两棵广玉兰，再往外为石柱花廊，植有紫藤，廊下设长条坐椅。平台正面是照壁式大墓碑，宽10.20米，高5.38米，中央镌刻毛泽东题字：“鲁迅先生之墓”，阴文贴金。墓碑下方是安放鲁迅灵柩的墓穴，上面用六块花岗石板密盖。墓穴左右各有一棵鲁迅夫人许广平和儿子周海婴所植的桧柏。碑后是屏风式土山，遍植松柏、香樟、四季花草，还有日本友人赠送的樱花、腊梅、桂花树等。
1956年10月14日上午，鲁迅灵柩移柩仪式在万国公墓礼堂举行。上海市副市长金仲华代表市人民委员会和上海人民向鲁迅献旗、献花圈。旗是仿制当年鲁迅丧仪时民众代表所献“民族魂”锦旗。礼毕，灵柩即移迁。到达新墓地后，在墓前举行有宋庆龄、柯庆施、茅盾、周扬、巴金、许广平等近2000人参加的迁葬仪式，巴金、茅盾和许广平先后致辞。仪式结束，举行鲁迅塑像揭幕礼。
鲁迅新墓建成后，曾多次整修。1961年，原白水泥鲁迅塑像改铸为铜像。同年3月，国务院公布鲁迅墓为全国重点文物保护单位。
1986年10月，市人民政府确定鲁迅墓的保护范围，为基地周围50米，建筑控制地带为150米。
