Ông tên thật là Phạm Minh Tài sinh ngày 11 tháng 12 năm 1926, tại làng Đông Thái, quận An Biên, tỉnh Rạch Giá [nay thuộc xã Đông Thái, huyện An Biên, tỉnh Kiên Giang]. Nhưng do sự nhầm lẫn của nhân viên hộ tịch, tên khai sinh của ông bị viết sai thành Phạm Minh Tày. Ngoài ra, ông còn có bút danh Phạm Sào Nam.

Thuở nhỏ ông học tiểu học tại quê nhà, rồi học trung học tại Cần Thơ. Năm 1945, ông tham gia Thanh niên Tiền phong, giành lấy chính quyền ở địa phương, rồi lần lượt tham gia công tác ở Hội Văn hóa cứu quốc tỉnh, phòng Chính trị Quân khu, phòng Văn nghệ Ban Tuyên huấn Xứ ủy Nam Bộ. Bút danh Sơn Nam ra đời trong thời gian này, để tưởng nhớ người phụ nữ Khmer đã cho ông bú mớm thời thơ ấu [Sơn là một họ lớn của người Khmer, Nam là để nhắc nhớ mình là người phương Nam][1].