Năm 1902, ông lên đường vào Nam, rồi ra Bắc, tìm cách liên kết những người có cùng chí hướng. Tháng 5-1904, tại Quảng Nam, Phan Bội Châu cùng các đồng chí của ông thành lập Hội Duy tân, chủ trương đánh đuổi giặc Pháp, giành độc lập. thiết lập một chính thể quân chủ lập hiến ở Việt Nam. Để chuẩn bị, Hội Duy tân tổ chức phong trào Đông du, đưa thanh niên sang học tập tại các trường của Nhật Bản.
Tháng 8-1908, Chính phủ Nhật Bản câu kết với thực dân Pháp ở Đông Dương, trục xuất số lưu học sinh Việt Nam, kể cả thủ lĩnh Phan Bội Châu. Phong trào Đông du tan rã. Phan Bội Châu về Trung Quốc, rồi sang Thái Lan nương náu chờ thời.
Cuộc cách mạng Tân Hợi (1911) ở Trung Quốc nổ ra, triều đình Mãn Thanh bị lật đổ, Chính phủ Dân quốc được thành lập, thi hành hàng loạt chính sách dân chủ tiến bộ. Phan Bộ Châu từ Thái Lan quay trở lại Trung Quốc.
Tháng 6-1912, tại Quảng Châu (Trung Quốc), ông tập hợp những người cùng chí hướng còn ở nước ngoài và một số mới từ trong nước sang (khoảng hơn 100 người), tuyên bố giải tán Duy tân hội, thành lập Việt Nam Quang phục hội. Hội khẳng định tôn chỉ duy nhất là “Đánh đuổi giặc Pháp, khôi phục nước Việt Nam, thành lập nước Cộng hòa Dân quốc Việt Nam”.
Để gây tiếng vang trong nước, thức tỉnh đồng bào, Hội đã cử người bí mật về nước để trừ khử những tên thực dân đầu sỏ, kể cả Toàn quyền An be Xa-rô và những tay sai đắc lực của chúng. Hoạt động của Việt Nam Quang phục hội trong buổi đầu đã đạt được một số kết quả nhất định, khuấy động được dư luận trong và ngoài nước. Nhưng thực dân Pháp nhân đó càng tăng cường khủng bố, nhiều người bị bắt và bị giết. Ngày 24-12-1913, Phan Bội Châu bị giới quân phiệt Trung Quốc bắt giam ở nhà tù Quảng Đông. Cách mạng Việt Nam trải qua những ngày khó khăn.