Ở Bình Định bấy giờ phong trào kháng chiến chống Pháp phát triển mạnh và dần dần quy tụ dưới ngọn cờ lãnh đạo của Mai Xuân Thưởng. Tăng Bạt Hổ đã liên kết với lực lượng của Mai Xuân Thưởng và được giao nhiệm vụ giữ mặt trận phía bắc Bình Định. Ông cho quân cùng với Bùi Điền xây dựng và củng cố thêm khu Chóp Chài (Phù Mĩ) và hai đồn tại đèo Phủ Cũ và đèo Bình Đê.

Thực dân Pháp và triều đình Nguyễn cử Nguyễn Thân và Trần Bá Lộc đem quân đàn áp phong trào kháng chiến ở Bình Định. Đầu năm 1886 Tăng Bạt Hổ cử hai tướng là Bùi Điền và Đỗ Duyệt đem quân giao chiến với Nguyễn Thân nhưng bị thất bại. Ông tiếp tục chiêu mộ thêm binh sĩ, củng cố thêm các đồn lũy để chống lại quân của Nguyễn Thân, nhưng trước thế mạnh của địch, hầu hết các chiến lũy của nghĩa quân đều bị phá vỡ. Đầu năm 1887 Nguyễn Thân kéo đại quân triệt phá mật khu Kim Sơn, vây bắt Tăng Bạt Hổ. Mặc dù Nguyễn Thân không thực hiện được kế hoạch, nhưng do quân ít, vũ khí thô sơ nên cuối cùng nghĩa quân tan rã. Nghĩa quân tản mát rồi nương náu tại các bản làng Tây Nguyên.

Sau khi cuộc khởi nghĩa bị đàn áp, Tăng Bạt Hổ vượt núi sang Lào, Xiêm, Trung Quốc, Nga, Nhật tìm Lưu Vĩnh Phúc nhưng Phúc đã chết. Ông quyết định theo nghề hàng hải, làm thủy thủ cho tàu buôn, vì thế có điều kiện quan sát văn minh của các nước và tìm thêm đồng chí. Nhờ nghề thủy thủ, ông thường qua lại Hoành Tân, Trường Kì và sau đó ít năm, ông thông thạo tiếng Nhật và được sung vào Hải quân Nhật Bản.

Trong chiến tranh Nga-Nhật (1904 - 1905), vì lòng căm hờn người Âu, ông nguyện hi sinh giúp Nhật, nổi tiếng là quả cảm, có công trong những trận chiến Đài Liên và Lữ Thuận, và được thưởng huy chương quân công[cần dẫn nguồn]. Ngày khải hoàn, ông được dự bữa đại yến do Thiên hoàng Minh Trị đãi các tướng sĩ. Đỡ chén rượu của Thiên hoàng ngự rót thưởng, ông uống một hơi cạn rồi khóc lớn ở giữa triều đình. Thiên hoàng hỏi, ông giãi bày hết nỗi lòng:

Hết thảy các người dự yến đều chăm chú nhìn vẻ mặt cương nghị, nghe lời khẳng khái của ông. Thiên hoàng Minh Trị khen ông là chân ái quốc an ủi ông mấy lời và từ đó các nhà cầm quyền Nhật rất có cảm tình với ông. Ông làm quen với các nghị sĩ Nhật như Khuyển Dưỡng Nghị (Inukai Tsuyoshi), Đại Ôi Trọng Tín (Ōkuma Shigenobu), tỏ ý muốn cầu viện Nhật để đuổi Pháp. Họ bảo phải chờ cơ hội vì Nhật Bản còn lo đánh Nga mà cũng chưa có hiềm khích gì với Pháp. Rồi họ khuyên ông:

Khuyến Dưỡng Nghị lại hứa tận lực giúp cho các học sinh Việt Nam được phép cư trú và được miễn học phí. Tăng Bạt Hổ xét lời khuyên đó hữu lý, nên xin phép chính phủ Nhật, tức tốc về nước, không dự trận thủy chiến ở Đối Mã.

Tăng Bạt Hổ về tới Hải Phòng cuối năm 1904, vào Quảng Nam, do Nguyễn Thành giới thiệu mà hội họp với Sào Nam và Kỳ Ngoại Hầu Cường Để, đầu năm sau đưa Sào Nam và Đặng Tử Kính qua Nhật để cầu ngoại viện, tổ chức phong trào Đông Du. Năm 1905 ông về nước đem theo bài văn Khuyến thanh niên du học của Phan Bội Châu truyền bá, cổ động. Dưới chiếc áo thầy thuốc ông đi khắp nơi liên lạc tìm người cùng chí hướng, có lần gặp Nguyễn Quyền ở Lạng Sơn, họp với Nguyễn Thượng Hiền ở nhà cụ đốc Đinh Trạch tại Nam Định. Nghe tiếng cụ Lương Văn Can có nghĩa khí, được nghĩa hội văn thân ở Bắc tín nhiệm, ông tìm lại thăm tại nhà ở số 4 phố Hàng Đào, Hà Nội để bàn về tình hình trong nước và kế hoạch lâu dài. Tại đây hai cụ Tăng kể lại những lời khuyên của Khuyển Dưỡng Nghị và nhờ cụ Lương giới thiệu các thanh niên ưu tú sang Nhật du học. Và sau cuộc nói chuyện này, Lương Ngọc Quyến và Lương Nghị Khanh trở thành hai sinh viên Đông Du đầu tiên. Năm 1906 trên đường từ Nam ra Huế ông lâm bệnh nặng rồi mất trên một chiếc thuyền trên sông Hương.

Khi Tăng Bạt Hổ qua đời, Võ Bá Hạp cùng các đồng chí đồng sự đã đem táng thi hài ông trên một gò cao thuộc ấp Thế Lại Thượng. Năm 1956, Lê Ngọc Nghị - một nhân sĩ - đã cùng với một số hậu duệ các bậc tiền bối hợp tác cùng thân hào xã Thế Lại Thượng tổ chức lễ truy điệu và cải táng hài cốt Tăng Bạt Hổ lên chôn tại khu vườn nhà và lăng mộ Phan Bội Châu như hiện nay.[2]