Năm 1949, ông công tác tại Trường Lục quân Trần Quốc Tuấn, khóa V. Năm 1950, là Đại đội trưởng tại Trường Thiếu sinh quân Việt Nam. Trong thời gian này, ông đã có những chùm ca khúc về Trường Lục quân Trần Quốc Tuấn, về Thiếu sinh quân Việt Nam.

Năm 1954, ông được cử làm cán bộ phụ trách Văn-Thể-Mỹ tại Khu học xá Trung ương (Nam Ninh, Trung Quốc). Từ năm 1958, ông về nước, công tác tại Đài tiếng nói Việt Nam, đảm nhiệm nhiều chức vụ chỉ đạo về biên tập âm nhạc. Từ đó cho đến năm 1975, ông đã sáng tác nhiều bài hát được nhiều người biết như Bài ca người thợ rừng, Bài ca người thợ mỏ, hợp xướng Miền Nam anh dũng và bất khuất, Bám biển quê hương, Yêu biết mấy những con đường, Chiếc gậy Trường Sơn, Gảy đàn lên hỡi người bạn Mỹ, Từ làng Sen, Đêm trên Cha Lo, Từ một ngã tư đường phố.

Bài Như có Bác trong ngày đại thắng được ông sáng tác đêm ngày 28 tháng 4 năm 1975, tập và thu âm ngay trong chiều ngày 30 tháng 4 để phát sóng trong bản tin thời sự đặc biệt 17 giờ cùng ngày của Đài tiếng nói Việt Nam chính thức công bố tin giải phóng hoàn toàn miền Nam Việt Nam.[2]

Sau 1975, ông có những ca khúc phổ biến như: Gửi nắng cho em, Con kênh ta đào, Màu cờ tôi yêu (thơ Diệp Minh Tuyền), Thành phố mười mùa hoa (1985, thơ Lệ Bình,...).

Ca khúc Chiến đấu vì độc lập tự do được ông sáng tác ngay trong đêm của ngày nổ ra cuộc chiến tranh biên giới Việt-Trung năm 1979. Ca khúc này đã mở đầu cho trào lưu cho dòng nhạc "biên giới phía Bắc" nhưng không còn được lưu hành kể từ khi quan hệ ngoại giao Việt Nam - Trung Quốc được cải thiện.[3]

Ông có sáng tác nhiều cho lớp trẻ. Nhiều bài hát thiếu nhi đã trở thành bài truyền thống qua nhiều thế hệ như: Tiến lên đoàn viên, Chiếc đèn ông sao, Hành khúc Đội thiếu niên Tiền phong Hồ Chí Minh, Hát dưới cờ Hà Nội, Gặp nhau giữa trời thu Hà Nội, Đêm pháo hoa, Cô và mẹ,...

Ông còn viết nhiều bài cho tạp chí, Đài phát thanh và truyền hình giới thiệu về thẩm mỹ âm nhạc, về tác giả và tác phẩm, là người đề xướng và chỉ đạo nhiều cuộc thi mang tính chất toàn quốc như Tiếng hát hoa phượng đỏ, Liên hoan Văn nghệ truyền hình toàn quốc, nhiều năm là Chủ tịch Hội đồng giám khảo của nhiều Hội diễn toàn quốc về văn hoá - văn nghệ của Bộ Văn hóa Thông tin và nhiều ngành khác trong nước.

Ông là Ủy viên Thường vụ Ban Chấp hành Hội nhạc sĩ Việt Nam từ năm 1963 đến năm 1983.

Vào năm 1993, ông phổ lời Việt cho một số ca khúc chủ đề trong phim hoạt hình Nhật Bản Doraemon cho Đội ca thiếu nhi Thành phố Hồ Chí Minh thể hiện. Sau đó các bài hát được Nhà xuất bản Kim Đồng tập hợp phát hành dưới dạng băng casette gồm 2 vol dưới tên Chúng ta hát cùng Doraemon

Ông hiện đã nghỉ hưu và sống tại Hà Nội. Ngày 18 tháng 8 năm 2011 ban liên lạc họ Phạm tại Tp Hồ Chí Minh và công ty TNHH họ Phạm Phương Nam tổ chức đêm nhạc Họ Phạm với chủ đề: "Mọi trái tim - một tấm lòng" cũng mời ông và nhạc sĩ Phạm Duy tới dự.

Năm 2001, nhạc sĩ Phạm Tuyên được trao Giải thưởng Nhà nước về văn học nghệ thuật cho cụm 5 tác phẩm: Đảng đã cho ta một mùa xuân, Bám biển quê hương, Chiếc gậy Trường Sơn, Gảy đàn lên hỡi người bạn Mỹ, Như có Bác trong ngày đại thắng.

Năm 2005, Phạm Tuyên được đề cử giải thưởng Hồ Chí Minh nhưng không đạt vì ông chưa có cụm công trình nào xuất sắc hơn cụm công trình đã được Giải thưởng Nhà nước.

Năm 2012, ông được Nhà nước Việt Nam trao tặng Giải thưởng Hồ Chí Minh đợt IV (4) về văn học nghệ thuật cho các tác phẩm Những ngôi sao ca đêm, Từ Làng Sen, Đêm trên Cha Lo, Tiến lên Đoàn viên, Đảng đã cho tôi sáng mắt sáng lòng.[4]