Tháng 5 năm 1953, quân đội ta thành lập các đơn vị pháo cao xạ để chuẩn bị đánh lớn. Đồng chí Tô Vĩnh Diện được điều về làm tiểu đội trưởng một đơn vị pháo cao xạ. Trong quá trình hành quân cơ động trên chặng đường hơn 1000 km tới vị trí tập kết để tham gia chiến dịch Điện Biên Phủ, đồng chí luôn luôn gương mẫu làm mọi việc nặng nhọc, động viên giúp đỡ đồng đội kéo pháo tới đích an toàn.
Trong lúc kéo pháo qua những chặng đường khó khăn nguy hiểm, đồng chí xung phong lái để bảo đảm an toàn cho khẩu pháo. Trong lúc kéo pháo cũng như lúc nghỉ dọc đường, Tô Vĩnh Diện luôn luôn nhắc đồng đội chuẩn bị chu đáo và tự mình đi kiểm tra tỉ mỉ đường dây kéo pháo, xem xét từng đoạn đường, từng cái dốc rồi phổ biến cho anh em để tránh những nguy hiểm bất ngờ xẩy ra.
Kéo pháo vào đã gian khổ, hy sinh, kéo pháo ra càng gay go ác liệt, đồng chí đã đi sát từng người, động viên giải thích nhiệm vụ, giúp anh em xác định quyết tâm cùng nhau khắc phục khó khăn để đảm bảo thắng lợi.

Qua 5 đêm kéo pháo ra đến dốc Chuối, đường hẹp và cong rất nguy hiểm. Tô Vĩnh Diện cùng đồng chí Ty xung phong lái pháo. Nửa chừng dây tời bị đứt, pháo lao nhanh xuống dốc, đồng chí vẫn bình tĩnh giữ càng, lái cho pháo thẳng đường. Nhưng một trong bốn dây kéo pháo lại bị đứt, pháo càng lao nhanh, đồng chí Ty bị hất xuống suối. Trong hoàn cảnh hiểm nghèo đó, Tô Vĩnh Diện hô anh em: “Thà hy sinh, quyết bảo vệ pháo” và đồng chí buông tay lái xông lên phía trước, lấy thân mình chèn vào bánh pháo, nhờ đó đơn vị kịp ghìm giữ pháo dừng lại.
Tấm gương hy sinh vô cùng anh dũng của đồng chí Tô Vĩnh Diện đã cổ vũ mạnh mẽ toàn đơn vị vươn lên hoàn thành tốt nhiệm vụ, chuẩn bị chiến đấu và chiến đấu thắng lợi.
Tô Vĩnh Diện đã được tặng thưởng một Huân chương Chiến công hạng nhất. Ngày 7 tháng 5 năm 1955, Tô Vĩnh Diện được Chủ tịch nước Việt Nam Dân chủ Cộng hoà truy tặng Huân chương Quân công hạng nhì và được tặng danh hiệu Anh hùng lực lượng vũ trang.