遇难同胞纪念馆建立在侵华日军南京大屠杀南京大屠杀江东门集体屠杀场地及“万人坑”遗址之上。

据史料记载和见证者的回忆，1937年12月期间，侵华日军在屠杀了三十万人南京人，在江东门一个点就集体屠杀一万多名中国俘虏及平民，遇难者尸体经慈善团体就地掩埋于“两个水塘和一条壕沟内”。

为悼念遇难同胞，启迪今人和后人，牢记历史，不忘过去，珍爱和平，开创未来，本馆于1985年8月正式建成开放，后又两次扩建，分展览集会区、遗址悼念区、和平公园区和馆藏交流区等4个功能性区域，是一座纪念性的遗址型历史博物馆，也是全国爱国主义教育基地和全国文物保护单位。