Sau khi đánh bại quân Nguyễn chiếm được Nam Kỳ, người Pháp nhanh chóng thiết lập bộ máy cai trị trên vùng đất mới. Một trong những công trình không thể thiếu là hệ thống nhà tù giam giữ tất cả những ai chống đối chính quyền thực dân cũng như các loại tội phạm khác.
Khám Lớn Sài Gòn được xây trong 4 năm, bắt đầu từ năm 1886. Mặt chính ở đường Lagran Dière (nay là đường Lý Tự Trọng), được rào bằng những song sắt; mặt sau giáp đường Espagne (Lê Thánh Tôn); hai bên là đường Mac Mahon (nay là Nam Kỳ Khởi Nghĩa) và Filippini (Nguyễn Trung Trực).
Công trình tọa lạc trên nền đất mà xưa kia là chợ Cây Da Còm. Theo học giả Trương Vĩnh Ký, sở dĩ chợ có tên này vì nó được họp dưới gốc cây da có nhánh khẳng khiu, lá khòm xuống mặt đất. Chợ chuyên bán trống, lọng, yên ngựa và mão tú tài.
Khám đường dài 30 m, rộng 15 m, ở giữa có lối đi rộng 2 m chạy dọc giữa hai dãy khám. Nhà ngục có vẻ ngoài u ám và rùng rợn với 4 mặt tường ngoài được sơn đen, mặt chính được rào kín bằng song sắt. Mỗi phòng giam chỉ có một ô cửa sổ rất nhỏ, trên cao.
Thiết kế như vậy là để thông hơi, cũng để lính canh bên ngoài có thể quan sát trong phòng giam. Tuy nhiên vì thiếu ánh sáng, vệ sinh kém và lượng tù nhân ngày càng tăng nên phòng giam rất ngột ngạt, luôn phát sinh dịch bệnh. Nền phòng giam tô bằng xi măng, các tù nhân nằm một chân bị cùm vào xà lim.
Khám còn có xà lim dành riêng cho những người bị kết án tử hình. Đó là đường hầm kín, dài 5 m, rộng 3 m, ba mặt là tường, còn lại là một cửa sắt dày, chỉ đục vài lỗ nhỏ để thông hơi, tối tăm, u uất không khác gì địa ngục.
Khám Lớn cùng với Tòa án và Dinh Thống đốc Nam Kỳ nằm ba góc ở trung tâm Sài Gòn là "biểu tượng" cho bộ máy thống trị của chế độ thực dân Pháp ở Nam Kỳ nên được mệnh danh là "Tam giác quỷ" - nỗi khiếp sợ của cả tù nhân và người dân.
Thực dân Pháp đặt một máy chém cao 4,5 m, lưỡi dao nặng 50 kg được đưa từ Pháp sang năm 1917. Theo một số tài liệu, khoảng năm 1925, tử tù thường bị hành hình giữa đêm với chiếc máy chém khổng lồ đặt giữa đường Lagran Dière (nay là Lý Tự Trọng).
Khi tù nhân quá đông, nhà cầm quyền Pháp phải xây thêm nhiều phòng mới, gồm hai dãy nhà một tầng và hai dãy nhà trệt, chia thành nhiều khu vực. Khám Lớn Sài Gòn trở thành nhà tù lớn nhất Nam Kỳ lục tỉnh bấy giờ, có lúc lên tới 2.000 người.
Đây cũng là nơi giam giữ các nhà yêu nước nổi tiếng của Việt Nam như Nguyễn An Ninh, Phan Văn Hùm, Trần Phú, Lê Hồng phong, Ngô Gia Tự, Nguyễn Văn Cừ, Võ Văn Tần, Phan Đăng Lưu, Phạm Văn Đồng, Phạm Hùng, Nguyễn Thị Minh Khai, Lý Tự Trọng...
Hai chiến sĩ cách mạng Lý Tự Trọng và Nguyễn Thị Minh Khai đã bị đưa lên máy chém tại đây. Đây được cho là lý do đường Lagran Dière - mặt chính của Khám Lớn Sài Gòn sau ngày 30/4 mang tên người anh hùng trẻ tuổi Lý Tự Trọng.
Ngày 23/11/1940, cuộc khởi nghĩa Nam Kỳ thất bại, rất nhiều quân dân Việt kháng Pháp bị bắt. Khám Lớn Sài Gòn, bót Catinat và các đồn khác không đủ chỗ giam giữ; khám lại nằm ở trung tâm thành phố, nơi các cuộc đấu tranh chống thực dân Pháp diễn ra thường xuyên nên Thống đốc Nam Kỳ phê duyệt kế hoạch xây Khám Chí Hòa tại ấp Chí Hòa (quận 10).
Năm 1943, nhà tù mới được khởi công. Tuy nhiên, lúc này xảy ra sự kiện Nhật đảo chính Pháp khiến việc xây cất bị gián đoạn, mãi đến ngày 8/3/1953 mới hoàn thành. Thủ tướng Quốc gia Việt Nam lúc bấy giờ là Nguyễn Văn Tâm (cầm quyền từ 23/6/1952 đến 7/12/1953) đã cho phóng thích một số tù nhân ở Khám Lớn Sài Gòn, số còn lại khoảng 1.600 người cùng với chiếc máy chém được chuyển về khám mới Chí Hòa.
Kể từ đó, Khám Lớn Sài Gòn chỉ còn là nơi giam giữ phụ và sau đó bị chính quyền Việt Nam Cộng Hòa phá hủy để xây Trường Đại học Văn Khoa (thành lập năm 1957, trực thuộc Viện Đại học Sài Gòn), sau đó thành Thư viện Quốc gia và hiện là Thư viện Khoa học Tổng hợp TP HCM.
Khám lớn được xây dựng thành Thư viện Quốc Gia dựa vào đồ án thiết kế của hai kiến trúc sư Bùi Quang Hạnh và Nguyễn Hữu Thiện với sự cộng tác của cố vấn kỹ thuật là Kiến trúc sư Lê văn Lắm. Thủ tướng chính quyền VNCH Trần Văn Hương đã đặt viên đá đầu tiên khởi công và công trình được hoàn thành năm 1971.
Thư viện rộng hơn 7.000 m2, kinh phí xây dựng lên đến 177 triệu đồng thời giá bấy giờ. Nhà thầu phải dùng tới 100.000 công thợ, 500 tấn sắt và 27.000 bao xi măng ròng rã 3 năm mới hoàn thành. Công trình bao gồm hai khối: khối thứ nhất là một dãy nhà dài 71 m, ngang 23 m gồm một hầm, một tầng trệt và hai lầu, một sân thượng ở lầu hai; khối thứ hai nằm ở trung tâm, hình vuông và vươn lên cao như ngọn tháp với 14 tầng, cao 43 m, chứa tài liệu.
Đây là thư viện lớn nhất Việt Nam, có 53 nhân viên phục vụ với khoảng 100.000 bản tài liệu.
Hiện, không tính báo, tạp chí, tài liệu cổ in trên da, ấn bản phim, sách nói cho người kiếm thị… chỉ riêng sách thì thư viện có hơn nửa triệu ấn phẩm. Trong đó có nhiều tài liệu quý như bộ sưu tập khá đầy đủ xuất bản phẩm in ở Ðông Dương cuối thế kỷ 19 đầu thế kỷ 20; các tài liệu xuất bản trong vùng tạm chiếm, những năm kháng chiến chống Pháp và Mỹ, có những cuốn in bằng chữ Nho và Pháp ngữ đã gần 300 năm cực kỳ giá trị vì nó là độc bản.