Khu vực nội đô TP HCM trước đây có rất nhiều nghĩa trang với hàng trăm nghìn ngôi mộ. Đa số chúng được xây dựng vào khoảng cuối cuối thế kỷ XIX, dưới chế độ Pháp thuộc, khi quy mô của Sài Gòn - Gia Định còn rất nhỏ. Sau đó, dân cư thành phố nhanh chóng trở nên đông đúc nên chính quyền phải di dời nghĩa trang để "lấy đất xây dựng các công trình phúc lợi, giữ vệ sinh môi trường".
Trong số những nghĩa trang, nổi tiếng và lâu đời nhất là Mạc Đĩnh Chi - nay là công viên Lê Văn Tám. Khu vực này được giới hạn bởi 4 tuyến đường Điện Biên Phủ - Hai Bà Trưng - Võ Thị Sáu và Phan Liêm ở trung tâm quận 1.
Cổng chính nghĩa trang trên đường Legrand de la Liraye (nay là Điện Biên Phủ) lúc vừa được người Pháp xây dựng ở vị trí công viên Lê Văn Tám ngày nay. Ảnh tư liệu
Theo tác giả Tim Doling (Ireland) - người có nhiều nghiên cứu, tìm hiểu về lịch sử Sài Gòn - TP HCM, công viên Lê Văn Tám nguyên thủy là nghĩa trang của người Châu Âu (Cimetière Européen) hay nghĩa trang Massiges. Người Sài Gòn thời đó cũng gọi là Đất thánh Tây. Về sau mang tên là nghĩa trang Mạc Đĩnh Chi.
Năm 1859, sau khi chiếm được Sài Gòn, người Pháp đã cho xây nghĩa trang này với diện tích 7,5 ha ở phía đông đường National (nay là Hai Bà Trưng). Lúc mới hoàn thành, nghĩa trang được giao cho Hải quân Pháp quản lý, chôn cất các sĩ quan và binh lính người Pháp trong cuộc chiếm đóng Sài Gòn.
Dù vậy, trong nghĩa trang cũng có một số lượng lớn các ngôi mộ của người Đức và Nga. Mãi đến cuối thập niên 1860, dân thường bắt đầu được chôn cất ở đây vì thời điểm đó Sài Gòn có rất nhiều người chết do dịch tả, sốt rét, ký sinh trùng đường ruột và kiết lỵ.
Vào khoảng năm 1870, nghĩa trang Việt Nam nhỏ (Cimetière Anamite hay Cimetière Indigène) được mở ngay tại phía bắc nghĩa trang của người Châu Âu. Đường phân chia hai nghĩa trang này được đặt tên là rue des Deux cimetières (đường hai nghĩa trang). Phải 10 năm sau, nó mới được mang tên là Mayer, sau đó là Hiền Vương và nay là đường Võ Thị Sáu.
Từ cuối thế kỷ 19, Sài Gòn bắt đầu phát triển thịnh vượng, nghĩa trang của người Châu Âu trở thành nơi an nghỉ của các chính trị gia xứ thuộc địa và các quản trị viên. Trong số đó có kiến trúc sư Marie-Alfred Foulhoux (1840-1892) và thị trưởng thành phố Sài Gòn Paul Blanchy (1837-1901).