Ông sinh ngày 1 tháng 5 năm 1904 tại thành An Thổ, phủ Tuy An, tỉnh Phú Yên (nay thuộc xã An Dân, huyện Tuy An, tỉnh Phú Yên), nguyên quán của ông ở làng Tùng Sinh, nay thuộc xã Tùng Ảnh, huyện Đức Thọ, tỉnh Hà Tĩnh.

Cha ông là cụ Trần Văn Phổ, từng đỗ Giải nguyên. Thời gian làm Giáo thụ Tuy An đã sinh ra ông tại đây. Mẹ ông là bà Hoàng Thị Cát, người làng Tùng Anh, huyện Đức Thọ, tỉnh Hà Tĩnh. Ông là con thứ 7 trong gia đình.

Năm 1908, khi đang là Tri huyện Đức Phổ (Quảng Ngãi), do không chịu được sự đè nén, áp bức, nhục mạ của công sứ Pháp Dodey Besra và bất lực trước tình cảnh nhân dân đói khổ, lầm than, cha ông đã thắt cổ tuẫn tiết tại công đường. Do nghèo khổ và buồn phiền, 2 năm sau đó, mẹ ông cũng qua đời.

Ông cùng với người em út lưu lạc từ Quảng Ngãi đến tỉnh Quảng Trị, về sau được một người dì ruột là cung nương Hoàng Thị Khương mang về giao cho con trai mình là Thái Thường Tự Khanh Phạm Hoàng San và vợ là Phan Thị Yến nuôi cho ăn học tại Trường tiểu học Pháp – Việt Đông Ba rồi Trường Quốc học Huế. Tại Trường Quốc học Huế, ông được theo học cụ Võ Liêm Sơn một nhà giáo yêu nước. Năm 1922, ông đỗ đầu kỳ thi Thành Chung (học vị cao nhất theo hệ Pháp đào tạo tại Việt Nam lúc bấy giờ) lúc 18 tuổi, rồi về dạy học tại Trường Tiểu học Pháp – Việt Cao Xuân Dục ở Vinh (Nghệ An).
Hoạt động cách mạng

Thời gian dạy học ở Vinh, vốn có ảnh hưởng tinh thần dân tộc của cha, ông có những tiếp xúc đầu tiên với Chủ nghĩa Cộng sản. Năm 1925, ông cùng một số bạn bè trẻ tuổi như Lê Văn Huân, Trần Đình Thanh, Ngô Đức Diễn, Tôn Quang Phiệt... thành lập Hội Phục Việt, sau đổi là Hội Hưng Nam, rồi lại đổi ra Việt Nam Cách mạng Đảng.

Năm 1926, với bí danh Lý Quý, ông đại diện Việt Nam Cách mạng Đảng sang Quảng Châu (Trung Quốc) bàn việc hợp nhất với Việt Nam Cách mạng Thanh niên. Tại Quảng Châu, ông tham gia một số lớp huấn luyện về lý luận và chính trị, được kết nạp vào Cộng sản Đoàn, và được cử về nước hoạt động. Tháng 12 năm 1926, ông về đến Vinh, tham gia cải tổ Việt Nam Cách mạng Đảng theo đường lối và tổ chức của Việt Nam thanh niên cách mạng.

Do những hoạt động tích cực của mình, một thời gian sau, ông bị lộ, được tổ chức bố trí sang Quảng Châu để hoạt động với bí danh Lý Viết Hoa. Mùa xuân năm 1927, ông được Nguyễn Ái Quốc cử sang học tại trường Đại học Đông Phương (Liên Xô) với bí danh Likvey (Ликвей). Tại đây, chi bộ những người Cộng sản Việt Nam được thành lập, ông được chỉ định làm bí thư chi bộ này.

Một năm sau đó, năm 1928, ông là đại biểu dự Đại hội VI Quốc tế Cộng sản. Khi đó, tại quê nhà, ngày 11 tháng 10 năm 1929, ông bị tòa án Nam triều ở Nghệ An xử án vắng mặt cùng với một số đồng chí của mình.

Tháng 4 năm 1930, ông về nước và được bổ sung vào Ban Chấp hành Trung ương Lâm thời của Đảng (tháng 7). Ông được giao soạn thảo Luận cương Chính trị về vấn đề cách mạng tư sản dân quyền ở Đông Dương.

Tháng 10 năm 1930, Hội nghị lần thứ nhất Ban Chấp hành Trung ương Đảng họp ở Hương Cảng (Trung Quốc) đã thông qua bản Luận cương Chính trị và bầu Ban Chấp hành Trung ương chính thức, ông được bầu Tổng Bí thư đầu tiên của Đảng.

Tháng 3 năm 1931, với bí danh Anh Năm, ông chủ trì Hội nghị Trung ương lần thứ 2 tại Sài Gòn bàn việc chấn chỉnh Đảng sau đợt khủng bố của thực dân Pháp. Hội nghị khẳng định: "Đảng [Cộng sản Việt Nam] là đảng tiền phong của giai cấp vô sản, Đảng chiến đấu cho lợi ích sống còn của dân tộc, cho quyền lợi các giai cấp bị bóc lột, bị áp bức, nhưng không phải là đảng của Công Nông. Kiên quyết chống tả khuynh, chống hữu khuynh". Hội nghị đã vạch ra nghị quyết về nhiệm vụ hiện tại của Đảng, nghị quyết về tổ chức của Đảng, nghị quyết về cổ động tuyên truyền. Tại hội nghị này, một quyết định về "Tổ chức ra cộng sản thanh niên Đoàn là một nhiệm vụ thâu phục một bộ phận quan trọng của vô sản giai cấp, là một vấn đề cần kíp của Đảng phải giải quyết"[4]. Đây được xem là tiền đề để hình thành Đoàn Thanh niên Cộng sản Hồ Chí Minh về sau này. Theo Sophie Quinn-Judge, tác giả cuốn "Hồ Chí Minh: Những năm chưa biết đến" (Hochiminh: The missing years), mối quan hệ giữa Ban chấp hành trung ương với ông Hồ Chí Minh, lúc đó đã xuống dốc rất nhiều. Chủ tịch Hồ Chí Minh lúc đó bị chỉ trích vì người ta bắt đầu xem ông là một nhà cải cách theo xu hướng quốc gia.