Phạm Ngọc Đa sinh năm 1938 tại thông Phác Xuyên, xã Bạch Đằng, huyện Tiên Lãng, tỉnh Kiến An (nay thuộc thành phố Hải Phòng) trong một gia đình lao động nghèo, cha là thợ mộc, mẹ làm thuê kiếm sống nuôi hai chị em. Những năm Pháp thuộc, dưới ách thực dân phong kiến cuộc sống khó khăn, gia đình Đa phải phiêu bạt nên đất Bắc Giang kiếm sống. Sau Cách mạng tháng 8, mẹ Đa dắt díu hai con trở về quê cũ. (Người cha đã chết tại quê, khi trở về trước để thăm thú tình hình).