Theo Sách Đại Nam liệt truyện, Lê Văn Duyệt sinh năm 1764 trong gia đình nông dân tại Cù Lao Hổ (nay thuộc làng Hòa Khánh, tỉnh Tiền Giang). Tổ tiên ông có gốc tích ở Quảng Ngãi, sau vào Nam sinh sống. Ông sinh ra đã mang tật kín bẩm sinh (ái nam ái nữ). Thuở nhỏ, không chịu học hành mà chỉ thích bắt chim, đánh cá, nhất là nuôi gà, đá gà và tụ tập các trẻ trong làng chia phe tập trận đánh giặc.
Tương truyền ông khỏe mạnh, thông minh, giỏi võ thuật. Tuy ít học nhưng ông biết nhiều tuồng tích Tàu, luôn ước ao trở thành hào kiệt như trong truyện xưa. Mới 15 tuổi, Lê Văn Duyệt đã nói "sinh ở thời loạn không dựng cờ đánh trống đại tướng, chép công danh vào sử sách không phải là trượng phu".
Năm 17 tuổi, Lê Văn Duyệt may mắn gặp chúa Nguyễn Phúc Ánh, sau đó được tuyển làm Thái giám Nội đình. Nhờ hiểu biết việc binh, ông được chúa Nguyễn tin dùng và được đứng vào hàng tướng lĩnh từ năm 1789. Theo Quốc triều sử toát yếu, năm 1793, Lê Văn Duyệt được Nguyễn Ánh phong làm Thuộc nội Vệ úy bởi "tuy sinh ra là người (thái) giám, (nhưng là) người mạnh dữ mà đánh giỏi, có công tùng chinh". Kể từ đó, chúa Nguyễn thường bàn việc binh với Lê Văn Duyệt.
Năm 1801, tướng quân Lê Văn Duyệt thể hiện tài năng khi chỉ huy đánh tan hải quân Tây Sơn ở cửa Thị Nại (Quy Nhơn). Đây là trận thủy chiến dữ dội nhất, được gọi là "Võ công đệ nhất" trong thời trung hưng của nhà Nguyễn.