Từ năm 1931, Cách mạng Việt Nam bước vào thời kì vô cùng khó khăn. Thực dân Pháp và phong kiến tay sai thẳng tay thi hành chính sách khủng bố cực kì tàn bạo. Nhiều chiến sĩ cộng sản, hàng vạn người yêu nước bị bắt, bị giết hoặc bị tù đầy. Các cơ quan lãnh đạo của đảng ở trung ương và địa phương lần lượt bị phá vỡ.
Đảng ta đã kịp thời chuyển vào hoạt động bí mật để củng cố lực lượng:
- Tổ chức cơ sở đảng trong nhà tù vẫn bí mật hoạt động. Các đảng viên cộng sản và những người yêu nước vẫn nêu cao khí phách kiên cường, bất khuất, kiên trì đấu tranh bảo vệ lập trường, quan điểm cách mạng của Đảng, biến nhà tù thành trường học cách mạng và vẫn tìm cách liên hệ với cơ sở Đảng ở bên ngoài. Số đảng viên còn lại ở bên ngoài cũng âm thầm tìm cách gây dựng lại các tổ chức cơ sở Đảng và quần chúng.
- Các tổ chức cơ sở của đảng ở các địa phương vẫn tồn tại và kiên trì bám chắc quần chúng để hoạt động, đồng thời lợi dụng các tổ chức công khai, hợp pháp của kẻ thù để đẩy mạnh đấu tranh. Tại các thành phố Hà Nội, Sài Gòn, một số đảng viên cộng sản đã tranh thủ các khả năng đấu tranh hợp pháp để ra tranh cử vào các hội đồng thành phố, lợi dụng diễn đàn công khai để tuyên truyền cổ động quần chúng theo các khẩu hiệu của Đảng. Khắp nơi trong nước, phong trào đã dần dần được khôi phục.
- Đến tháng 3-1935, Đại hội lần thứ nhất của Đảng họp ở Ma Cao (Trung Quốc) để củng cố tổ chức, chuẩn bị cho một cao trào cách mạng mới.