Cũng giống như một số quốc gia châu Á khác, trước năm 1868, Nhật Bản chịu ảnh hưởng nặng nề của giáo dục Nho giáo. Sự bén rễ của hệ thống giáo dục kiểu cũ này hết sức sâu đậm trong xã hội Nhật Bản lúc bấy giờ. Do đó, quá trình đấu tranh để đi đến một sự lột xác gần như hoàn toàn sang hệ thống giáo dục kiểu mới ở thời kỳ Minh Trị là một quá trình “không bình lặng” và thắng thế cuối cùng đã thuộc về những tư tưởng cấp tiến.
Các nhà lãnh đạo Minh Trị từ rất sớm đã nhận thức rõ tính phi tập trung và thiếu tính chặt chẽ, thiếu sự tổ chức, quản lý của Nhà nước trong mô hình giáo dục Nho giáo nên muốn sử dụng giáo dục như là một công cụ của sự thống nhất quốc gia thông qua những thay đổi về mục tiêu và nội dung dạy học.
Như chúng ta đã biết, vào thời Cận đại, trước làn sóng văn minh phương Tây nhiều quốc gia Châu Á đã khép mình trong tù đọng để rồi đưa đến hệ quả mất độc lập, chủ quyền và phải tranh đấu suốt một thời gian dài để giành lại nó. Riêng Nhật Bản, với sự sáng suốt của đội ngũ các nhà lãnh đạo tài hoa và tân tiến như: Iwakura, Fukuzawa Yukichi... đã sớm nhận thức được rằng: chính giáo dục là chìa khoá bí mật của sức mạnh phương Tây. Từ đó, Nhật Bản “phải học tập rất nhiều về công nghệ, các thiết chế, các tư tưởng của phương Tây và phát triển một năng lực xã hội trên cơ sở giáo dục để hỗ trợ cho một nền kinh tế và xã hội hiện đại” nhằm mục tiêu “phú quốc cường binh” (fukoku kyohei) với tinh thần “học tập phương Tây, đuổi kịp phương Tây, đi vượt phương Tây” trên nền tảng định hướng “kỹ thuật phương Tây, đạo đức phương Đông” để thông qua đó thiết lập hệ thống giáo dục kiểu mới một cách có chọn lọc.
Từ trước năm 1868, ở Nhật Bản đã có một số cá nhân có tư tưởng Âu hoá đã cho con em mình sang các nước phương Tây học tập. Sau đó, chính Mạc phủ đã thực hiện việc gửi học sinh ra nước ngoài học tập, mời các kỹ sư nước ngoài sang giúp đỡ về kỹ thuật, giảng dạy về khoa học và ngôn ngữ(1). Nhưng phải từ 1868 trở đi việc nghiên cứu hệ thống giáo dục phương Tây ở Nhật Bản mới thực sự diễn ra mạnh mẽ. Thông qua việc kiện toàn bộ máy tổ chức, quản lý giáo dục các cấp, Nhật Bản đã hướng tới việc xác lập khuôn mẫu giáo dục phương Tây. Bắt đầu từ năm 1870, các trường học ở Nhật Bản tổ chức theo 3 cấp học bao gồm tiểu học, trung học và đại học. Năm 1871, thành lập Bộ Giáo dục và công bố luật Gakusei (Học chế - Trật tự giáo dục Chính phủ). Trên cơ sở đó, chính phủ Minh Trị đã điều chỉnh và ban hành một bộ luật mới cũng được gọi là Luật Giáo dục (Kyoiku Rei), công bố năm 1879. Theo luật Gakusei, giáo dục Nhật Bản sẽ được thực hiện theo mô hình giáo dục 3 cấp của Pháp.
Việc ban hành luật giáo dục được xem là một quá trình thử - sai để tìm ra cái phù hợp với thực tiễn Nhật Bản lúc bấy giờ. Vì thế, luật giáo dục thường xuyên được thay đổi. Sở dĩ có điều này là do quá trình đấu tranh giữa các trường phái: Nho học, Quốc học và Âu học vẫn tiếp tục tồn tại. Bên cạnh đó, giáo dục lúc này còn liên quan đến việc kiện toàn, phân bổ hệ thống quản lý từ trung ương xuống địa phương nhằm phá vỡ tính nhỏ lẻ, thiếu nhất quán của Nho học trước đây để đi đến một sự thống nhất toàn diện về mọi mặt trong giáo dục.
Chẳng hạn, theo Luật Giáo dục năm 1879 đã giao quyền quản lý trường học cho các địa phương nhưng kết quả là một số học sinh tới trường tiểu học ở nhiều địa phương giảm đáng kể. Ngay trong năm sau (1880), Chính phủ Nhật Bản đã thay đổi luật giáo dục để thông qua hệ thống giáo dục quản lý tập trung cụ thể là có sự thống nhất về thành tố của hệ thống giáo dục như: chương trình, sách giáo khoa, hệ thống trường lớp... trên khắp cả nước. Đặc biệt, Arinari Mori (1847 - 1889) - Bộ trưởng Giáo dục đầu tiên của Nhật Bản là người đã thông qua Luật về Giáo dục tiểu học. Bộ luật này coi giáo dục tiểu học là nền tảng của toàn bộ hệ thống giáo dục, và theo đó quy định 3 hoặc 4 năm tiểu học là giáo dục bắt buộc(2), coi giáo dục tiểu học là “điều kiện trước tiên giúp cho nền kinh tế cất cánh”. Các nhà lãnh đạo Minh Trị đã sớm nhận thức được rằng, muốn xây dựng một nước Nhật mới không thể bắt đầu với số đông quần chúng mù chữ, xem giáo dục tiểu học là cái gốc của nền giáo dục và sự phát triển. Chính quyền Nhật Bản đã tổ chức nhiều loại trường tiểu học khác nhau, phù hợp với hoàn cảnh của mỗi địa phương: thành thị, nông thôn, miền núi... Ở mỗi khu vực lại có những quy định về bố trí thời gian đến trường cho phù hợp với điều kiện, hoàn cảnh của học sinh. Bằng cách đó, chính phủ muốn lôi kéo trẻ em đến độ tuổi đi học đến trường càng nhiều càng tốt, một cách tự nguyện và có ý thức. Giáo dục tiểu học lúc này được coi là rất quan trọng để tạo ra trong xã hội nếp sống công nghiệp hoá. Vào năm 1900, Nhật Bản đã cho sửa đổi Luật trường tiểu học trong đó đưa ra những quy định về nghĩa vụ giáo dục một cách chi tiết, ví dụ như: cha mẹ và những người thuê mướn trẻ em phải thi hành luật bắt buộc cho trẻ em đến trường đúng theo quy định. Nhờ vậy, tỉ lệ trẻ em đến trường đã tăng nhanh từ sau năm 1900(3) và Nhật Bản trở thành nước có tỉ lệ người mù chữ vào loại thấp nhất trong thời điểm này.
Bên cạnh việc thiết lập hệ thống các trường tiểu học, Nhật Bản cũng chú trọng phát triển các trường Đại học trực thuộc nhà vua (Đại học hoàng gia) và các trường đào tạo giáo viên, cùng với đó là quy định về trường dạy nghề (được thông qua năm 1899) và sự ra đời của các trường đại học: Đại học Tokyo được thành lập năm 1877, Đại học Keio... Tất cả đã thúc đẩy việc hoàn thiện hệ thống trường lớp ở Nhật Bản và góp phần đào tạo tầng lớp lãnh đạo cho đất nước. Đặc biệt, sự ra đời của Đại học Tokyo (trường dạy về tri thức và văn hoá phương Tây) đã đánh dấu sự ra đời của nền giáo dục đại học ở Nhật Bản, năm 1886 trường này đổi tên thành Đại học Đế quốc là một trong những trung tâm đào tạo nhân lực cốt cán cho sự nghiệp Duy tân “trở thành đòn bẩy không thể thiếu của quốc gia”.