Ở Thăng Long mà không có lương thực, Thoát Hoan lúng túng; quân Nguyên lại bị dịch bệnh rất nhiều do không hợp thời tiết[19]. Trong khi đó, quân Trần lại bắt đầu phản công mạnh mẽ và kiểm soát vùng Hải Dương và Hải Phòng đẩy Thoát Hoan vào nguy cơ bị cắt đường về Vạn Kiếp. Trước tình hình như vậy, Thoát Hoan rút quân khỏi Thăng Long quay về Vạn Kiếp, sai Abaci đi tiên phong mở đường.[20]

Tại Vạn Kiếp, quân Nguyên cố thủ trong các thành gỗ nhưng thường xuyên bị quân Đại Việt tập kích vào ban đêm. Tình hình thiếu lương thực càng ngày càng trầm trọng. Thoát Hoan quyết định rút quân khỏi Đại Việt. Lúc đó là vào khoảng cuối tháng 3 năm 1288, tức là chỉ 3 tháng sau khi tiến quân vào Đại Việt. Quân Nguyên chia làm 2 ngả rút về, một ngả của thủy quân do Ô Mã Nhi và Phàn Tiếp chỉ huy, một ngả của bộ binh do Thoát Hoan chỉ huy.

Cánh quân thủy của Ô Mã Nhi bị quân Trần đánh bại trong trận Bạch Đằng. Về phía cánh quân bộ của Thoát Hoan, ngày 8 tháng 4 năm 1288, ông từ Vạn Kiếp tiến lên Lạng Sơn. Siktur được lệnh dẫn một cánh đi theo hướng Tây (qua Chi Lăng), nhưng đến Hãm Nê thì bị quân Đại Việt chặn đánh, đành trở lại nhập vào đoàn quân của Thoát Hoan. Ngày 11 tháng 4, đội quân Nguyên tiến tới cửa Nội Bàng (thị trấn Chũ và xã Bình Nội của Bắc Giang ngày nay) và lọt vào trận địa phục kích của quân Đại Việt. Quân Nguyên cố sức chống cự; Daraci và Lưu Thế Anh phải liều chết mở đường máu cho đại quân thoát khỏi cửa Nội Bàng.

Qua được Nội Bàng, Thoát Hoan nhận được tin trinh sát rằng phía trước có 30 vạn quân Đại Việt trải dọc suốt 100 dặm mai phục, đành đổi hướng đi qua Đơn Kỷ[21] về Lộc Châu. Tuy nhiên qua đường này, quân Nguyên vẫn bị quân Đại Việt tập kích. Abaci trúng tên độc tử trận. Mãi đến ngày 19 tháng 4 năm 1288, quân Nguyên mới thoát khỏi biên giới về đến Tư Minh.[22].