Trải qua nhiều thăng trầm, ngôi chợ vào những năm 1920 đã rất sầm uất.
Chợ Bến Thành có từ trước khi người Pháp xâm chiếm Gia Định, ban đầu nằm bên bờ sông Bến Nghé, cạnh một bến sông gần thành Gia Định (bấy giờ là thành Quy, còn gọi là thành Bát Quái). Bến này dùng để cho hành khách vãng lai và quân nhân vào thành, vì vậy mới có tên gọi là Bến Thành và khu chợ cũng có tên gọi là chợ Bến Thành.
Thời kỳ đầu chợ Bến Thành được xây bằng gạch, sườn gỗ, lợp tranh. Sách Gia Định thành thông chí của Trịnh Hoài Đức mô tả: "Chợ Bến Thành, phố chợ, nhà cửa trù mật ở dọc theo bến sông.
Chỗ đầu bến này có lệ đến đầu mùa xuân gặp ngày tế mạ, có thao diễn thủy binh, nơi bến có đò ngang chở khách buôn ngoài biển lên. Đầu phố phía Bắc là ngòi sa ngư, có gác cầu ván ngang qua, hai bên nách cầu có dãy phố ngói, tụ tập trăm thứ hàng hóa, dọc bến sông ghe buôn lớn nhỏ đến đậu nối liền".
Những năm đầu thế kỷ 20, chợ Bến Thành còn được biết đến với cái tên là chợ Mới.
Sau nhiều biến cố trước đó, chợ mới được xây dựng và làm lễ khai thị vào lúc 17h ngày 28/3/1914. Lễ này kéo dài đến 30/3/1914. Báo chí thời đó gọi là Tân Vương Hội. Ngày khai thị có khoảng 100.000 người tham dự, có cả dân từ các tỉnh đổ về.
Khu chợ mới này vẫn được gọi với tên Bến Thành cho đến trước năm 1975, còn người dân thì thường gọi là chợ Sài Gòn hay chợ Mới, để phân biệt chợ Cũ tại điểm cũ, vốn chỉ còn lại gian hàng thịt.
Phần còn lại bị phá đi và được người Pháp xây dựng thành cơ quan Ngân khố. Mãi đến năm 1940, hai con đường bên hông chợ còn là bến xe đò đi các tỉnh miền Đông và miền Tây. Về sau, bến xe này mới được dời đi chỗ khác.
Chợ Bến Thành có 4 cửa chính và 12 cửa phụ
Từ cửa Đông sang cửa Tây dài 96 m, cửa Nam đến cửa Bắc dài 136 m. Từ cửa Nam xuống Bắc của chợ có 22 hẻm, cửa Đông xuống cửa Tây có 9 hẻm. Đường chữ thập của chợ rộng 5 m.
Cửa Nam là mặt tiền (cửa số 1) của chợ Bến Thành hướng ra công trường Quách Thị Trang. Tại đây vào năm 1963, một học sinh yêu nước ngã xuống trước họng súng của chính quyền Ngô Đình Diệm.
Các nhà nghiên cứu thống nhất chợ Bến Thành xưa nằm bên bờ kinh Lớn, trong khu vực các con đường Nguyễn Huệ - Hải Triều - Ngô Đức Kế - Tôn Thất Đạm.
Bên ngoài chợ, các mặt hàng được bày bán dưới đất, nằm hẳn trên lòng đường để người dân mua bán. Từ những năm 2000, nơi đây bắt đầu có văn phòng ban quản lý chợ.