Phú Thọ được coi là vùng Đất tổ cội nguồn của Việt Nam. Tương truyền tại nơi đây các vua Hùng đã dựng nước nên nhà nước Văn Lang - nhà nước đầu tiên của Việt Nam, với kinh đô là Phong Châu, tức xung quanh thành phố Việt Trì ngày nay.
Thời Hùng Vương, nhà nước Văn Lang được chia thành 15 bộ, trong đó Phú Thọ thuộc bộ Văn Lang, trung tâm của nước Văn Lang.
Thời An Dương Vương với nhà nước Âu Lạc, Phú Thọ thuộc huyện Mê Linh.
Dưới thời Bắc thuộc (từ năm 111 trước Công nguyên đến thế kỷ thứ 10), Phú Thọ thuộc quận Mê Linh, Tân Xương, Phong Châu.
Thời loạn 12 sứ quân, Phú Thọ là địa bàn chiếm đóng của 2 sứ quân Kiều Công Hãn và Kiều Thuận tại các căn cứ Hồi Hồ và Phong Châu.
Thời kỳ phong kiến độc lập nhà Lí Trần, phân cấp hành chính của Việt Nam có sự thay đổi, chế độ quận, huyện thời Bắc thuộc được thay thế bằng các đạo (lộ, trấn, xứ, tỉnh), dưới đạo là các phủ, châu, huyện. Phú Thọ thuộc lộ Tam Giang.
Từ thời nhà Lê đến đầu triều nhà Nguyễn (1428 - 1891), phần lớn tỉnh Phú Thọ ngày nay thuộc tỉnh Sơn Tây trừ huyện Thanh Xuyên và huyện Yên Lập thuộc tỉnh Hưng Hóa (huyện Thanh Xuyên nay là 3 huyện Tân Sơn, Thanh Sơn và Thanh Thủy; huyện Yên Lập thuộc phủ Quy Hóa nay thuộc tỉnh Phú Thọ).
Năm Minh Mạng thứ 12 (1831), nhà vua đã tiến hành cải cách hành chính, đổi tất cả các trấn trong nước là tỉnh, phân lại địa giới các tỉnh (điều chuyển một số huyện từ tỉnh nọ sang tỉnh kia), chia tách một số huyện lớn... Theo đó, trong địa bàn tỉnh Sơn Tây đã điều chuyển như sau:
Điều chuyển huyện Từ Liêm về tỉnh Hà Nội;
Điều chuyển huyện Tam Nông về tỉnh Hưng Hóa để làm tỉnh lỵ (tỉnh Hưng Hóa khi đó bao gồm toàn bộ diện tích các tỉnh vùng tây bắc Việt Nam ngày nay).
Trong địa bàn tỉnh Hưng Hóa, năm 1833, tách huyện Thanh Xuyên phủ Gia Hưng thành hai huyện Thanh Sơn và Thanh Thủy.
Sau khi đánh chiếm Bắc Kỳ, hoàn thành việc xâm lược toàn bộ Việt Nam, thực dân Pháp lập ra các đạo quan binh, các quân khu, tiểu quân khu... để dễ dàng và chủ động đàn áp các phong trào kháng chiến. Theo đó, tỉnh Hưng Hóa với địa bàn rộng lớn ở vùng tây bắc Việt Nam đã được chia thành nhiều tiểu quân khu: tiểu quân khu Tuyên Quang, tiểu quân khu Lào Cai, tiểu quân khu Yên Bái, tiểu quân khu Vạn Bú; tiểu quân khu phụ Lai Châu (sau đổi thành các tỉnh dân sự Tuyên Quang, Yên Bái, Lào Cai, Sơn La, Lai Châu...).
Sau khi cắt đi 16 châu, 4 phủ và hai huyện Trấn Yên, Văn Chấn để thành lập các đạo quan binh, khu quân sự, tiểu quân khu, Toàn quyền Đông Dương đã điều chỉnh một số huyện của tỉnh Sơn Tây sang, cộng với các huyện còn lại để thành lập tỉnh Hưng Hóa mới.
Theo Điều I của Nghị định Toàn quyền Đông Dương ngày 8 tháng 9 năm 1891, tỉnh Hưng Hóa mới được thành lập gồm có:
Các huyện Tam Nông, Thanh Thủy của tỉnh Hưng Hóa (huyện Thanh Thủy bỏ tổng Cự Thắng nhưng tăng thêm tổng Tinh Nhuệ của huyện Thanh Sơn).
Các huyện Sơn Vi, Thanh Ba và Phù Ninh của phủ Lâm Thao, tỉnh Sơn Tây.
Như vậy tỉnh Hưng Hóa mới thành lập có 5 huyện và là tiền thân của tỉnh Phú Thọ sau này.
Ngày 9 tháng 12 năm 1892, Toàn quyền Đông Dương ra nghị định chuyển huyện Cẩm Khê nằm trong địa bàn tiểu quân khu Yên Bái về tỉnh Hưng Hóa mới; ngày 5 tháng 6 năm 1893, huyện Hạ Hòa tách khỏi tiểu quân khu Yên Bái nhập vào tỉnh Hưng Hóa mới (trước đó ngày 9 tháng 9 năm 1891, Toàn quyền Đông Dương đã điều chuyển huyện Cẩm Khê và huyện Hạ Hòa thuộc phủ Lâm Thao, tỉnh Sơn Tây về tiểu quân khu Yên Bái).
Tiếp đó ngày 17 tháng 7 năm 1895, hai châu Thanh Sơn và Yên Lập thuộc khu quân sự Đồn Vàng chuyển về tỉnh Hưng Hóa mới.
Ngày 24 tháng 8 năm 1895, hai huyện Hùng Quan và Ngọc Quan của phủ Đoan Hùng thuộc tiểu quân khu Tuyên Quang thuộc đạo quan binh 3 Yên Bái nhập vào tỉnh Hưng Hóa mới.
Năm 1900, thành lập thêm huyện Hạc Trì.
Ngày 5 tháng 5 năm 1903, Toàn quyền Đông Dương ký nghị định thành lập thị xã Phú Thọ trên cơ sở làng Phú Thọ thuộc tổng Yên Phú, huyện Sơn Vi. Khi đó thị xã Phú Thọ nằm ở vị trí trung tâm của tỉnh Hưng Hóa lại có sân bay, đường sắt sang Trung Quốc và nhà ga nên Toàn quyền Đông Dương Paul Doumer đã quyết định chuyển tỉnh lỵ của tỉnh Hưng Hóa (từ làng Trúc Phê huyện Tam Nông) lên thị xã Phú Thọ và đổi tên tỉnh Hưng Hóa thành tỉnh Phú Thọ. Khi đó tỉnh Phú Thọ gồm có 2 phủ (Đoan Hùng, Lâm Thao), 8 huyện (Tam Nông, Thanh Thủy, Sơn Vi, Thanh Ba, Phù Ninh, Cẩm Khê, Hạ Hòa, Hạc Trì) và 2 châu (Thanh Sơn, Yên Lập).
Như vậy, ngày 8 tháng 9 năm 1891 được coi là ngày thành lập tỉnh Phú Thọ, còn ngày 5 tháng 5 năm 1903 chỉ là ngày thành lập thị xã Phú Thọ và ngày đổi từ tên tỉnh Hưng Hóa thành tỉnh Phú Thọ.
Từ năm 1903 đến Cách mạng tháng Tám năm 1945, về cơ bản là đơn vị hành chính trong tỉnh không có những thay đổi lớn, chỉ có thay đổi tên gọi một số huyện và thành lập một số làng xã mới.
Năm 1919, bỏ tên huyện Sơn Vi đổi gọi là phủ Lâm Thao. Cũng chính năm này hai huyện Hùng Quan và Ngọc Quan hợp nhất thành phủ Đoan Hùng.
Năm 1939, phủ Đoan Hùng chuyển gọi là châu Đoan Hùng. Cũng năm này huyện Thanh Ba đưa lên thành phủ Thanh Ba.
Đến năm 1940, tỉnh Phú Thọ bao gồm hai phủ: Lâm Thao, Thanh Ba; sáu huyện: Hạ Hòa, Cẩm Khê, Hạc Trì, Thanh Thủy, Tam Nông, Phù Ninh; ba châu: Thanh Sơn, Yên Lập, Đoan Hùng; hai thị xã: Phú Thọ, Việt Trì và một thị trấn Hưng Hóa. Toàn tỉnh có 66 tổng, 467 làng xã, 22 phố.
Sau Cách mạng tháng Tám, về mặt hành chính nhà nước Việt Nam thống nhất gọi các phủ, châu, huyện là huyện, bỏ cấp tổng và tiến hành hợp nhất các làng nhỏ thành xã. Năm 1946, tỉnh Phú Thọ từ 467 làng cũ hợp nhất thành 106 xã mới. Do có xã quá lớn nên giữa năm 1947, chính phủ lại chia tách một số xã, đưa số xã từ 106 lên 150 xã.
Cũng năm 1947, 5 huyện hữu ngạn sông Thao là Cẩm Khê, Tam Nông, Thanh Thủy, Thanh Sơn và Yên Lập sát nhập vào khu 14 không thuộc tỉnh Phú Thọ. Đến tháng 2 năm 1948, khu 14 hợp nhất với khu 10 thành liên khu 10, 5 huyện hữu ngạn sông Thao lại trở về tỉnh Phú Thọ.
Ngày 22 tháng 7 năm 1957, thành lập thị xã Việt Trì - thị xã thứ hai của Phú Thọ, chỉ có 4 khu phố, 293 hộ người Kinh, 30 hộ Hoa kiều.
Ngày 4 tháng 6 năm 1962 thành phố Việt Trì được thành lập theo quyết định số 65 của Hội đồng Chính phủ. Từ đây Việt Trì trở thành tỉnh lị của Phú Thọ.
Ngày 26 tháng 1 năm 1968, Ủy ban thường vụ Quốc hội nước Việt Nam Dân chủ Cộng hòa ra nghị quyết số 504-NQ/TVQH tiến hành hợp nhất hai tỉnh Phú Thọ và Vĩnh Phúc thành tỉnh Vĩnh Phú, thành phố Việt Trì trở thành tỉnh lỵ của Vĩnh Phú.
Kỳ họp thứ 10 Quốc hội khóa IX đã thông qua nghị quyết (ngày 26 tháng 11 năm 1996) về việc chia và điều chỉnh địa giới hành chính một số tỉnh, trong đó có việc tái lập tỉnh Vĩnh Phúc và tỉnh Phú Thọ. Tỉnh Phú Thọ chính thức được tái lập và đi vào hoạt động từ ngày 1 tháng 1 năm 1997, ngay năm sau Phú Thọ được công nhận là tỉnh miền núi.
Khi tách ra, tỉnh Phú Thọ có diện tích 3.465,12 km², dân số 1.261.949 người, gồm 10 đơn vị hành chính cấp huyện: thành phố Việt Trì, thị xã Phú Thọ và 8 huyện Thanh Ba, Hạ Hòa, Đoan Hùng, Sông Thao, Thanh Sơn, Yên Lập, Tam Thanh, Phong Châu.
Ngày 24 tháng 7 năm 1999, huyện Phong Châu lại được tách thành hai huyện Phù Ninh và Lâm Thao; huyện Tam Thanh lại được tách thành hai huyện Tam Nông và Thanh Thủy.
Tại nghị định số 61/2007/ NĐ-CP ngày 9 tháng 4 năm 2007 của chính phủ nước Cộng hòa Xã hội chủ nghĩa Việt Nam, huyện Thanh Sơn được tách thành 2 huyện: Thanh Sơn và Tân Sơn.