Năm 1954, ông là trưởng phái đoàn Chính phủ dự Hội nghị Genève về Đông Dương. Những đóng góp của đoàn Việt Nam do ông đứng đầu tạo ra những đột phá đưa hội nghị để giành độc lập cho bán đảo Đông Dương. Trải qua 8 cuộc họp toàn thể và 23 phiên họp căng thẳng, phức tạp, với tinh thần chủ động và cố gắng của phái đoàn Việt Nam, thì đến ngày 20/7/1954, bản Hiệp định đình chỉ chiến sự trên bán đảo Đông Dương đã được ký kết thừa nhận tôn trọng độc lập, chủ quyền của các nước Việt Nam, Lào và Campuchia.

Tháng 9/1954, Phạm Văn Đồng kiêm chức Bộ trưởng Ngoại giao nước Việt Nam Dân chủ Cộng hòa, Trưởng ban Đối ngoại Trung ương Đảng. Từ tháng 9 năm 1955, ông trở thành thủ tướng Chính phủ của Việt Nam Dân chủ Cộng hòa. Từ năm 1976, ông là thủ tướng của Cộng Hòa Xã Hội Chủ nghĩa Việt Nam (thống nhất), phó chủ tịch Hội đồng Quốc phòng cho đến khi về hưu năm 1987. Ông cũng liên tục làm đại biểu Quốc hội từ năm 1946 đến năm 1987.

Trong thời gian làm thủ tướng chính phủ, Phạm Văn Đồng và Nguyễn Văn Linh đã giải oan cho đạo diễn Trần Văn Thủy trong sự kiện về bộ phim tài liệu Hà Nội trong mắt ai.[9]