Sau khi lên ngôi, vua Lý Công Uẩn tiếp tục xây dựng một thể chế nhà nước quân chủ tập quyền. Tổ chức triều chính dựa trên cơ sở chính quyền cũ thời tiền Lê, có phần mô phỏng cấu trúc chính quyền Đường - Tống, trong đó chú trọng xây dựng quân đội thành công cụ và chỗ dựa tin cậy và vương triều. Hơn nữa nhà Lý xây dựng chính quyền vào lúc nạn ngoại xâm đang là mối nguy cơ trực tiếp và thường xuyên. Cho nên để củng cố nền thống trị, đồng thời để tăng cường sức mạnh giữ nước vương triều Lý đặc biệt quan tâm đến việc xây dựng lực lượng quân sự.
Kế thừa những điểm cốt yếu trong bộ máy quân sự thời Tiền Lê, vua Lý Thái Tổ đã phát triển quân đội ngày càng quy củ và mở rộng hơn. Quân đội bao gồm quân triều đình và quân địa phương ở các châu lộ. Đặc biệt dưới thời nhà Lý đã thực hiện chính sách “Ngụ binh ư nông”, tức là gửi binh lính ở nông thôn, cùng sống với nhân dân để xây dựng lực lượng quân đội và phát triển sản xuất. Đây chính là một chính sách lớn, một quốc sách về xây dựng lực lượng vũ trang trong thời chiến và là một phương thức xây dựng lực lượng vũ trang để bảo vệ đất nước. Chính sách này bao gồm những quy định về “quân biên sổ” và “quân ghi phiên”.
Quân biên sổ là nhân đinh được quản lý theo cách lập sổ hộ tịch. Những nam đinh khoẻ mạnh đến tuổi trưởng thành đều có nghĩa vụ binh dịch, được ghi tên vào cuốn sổ bìa vàng gọi là “sổ hoàng nam”. Hàng năm triều đình theo sổ đó để gọi những nhân đinh đến tuổi sung vào quân ngũ, số còn lại ở nhà sản xuất tham gia dân đinh để sẵn sàng nhập ngũ khi cần thiết. Theo sử sách thì bắt đầu từ năm 1083, vua Lý Nhân Tông duyệt hoàng nam, định làm ba bậc rồi tuyển những người khoẻ mạnh đi lính.
Đối với quân thường trực, nhà nước quy định chế độ “chia phiên”. Khi đất nước hoà bình thì chỉ có cấm quân là phải trực thường xuyên để bảo vệ kinh đô, còn các quân khác thì chia thành phiên, một bộ phận trực tại ngũ, luyện tập và canh phòng, một bộ phận thì trở về sản xuất. Khi có chiến tranh tất cả lại trở lại quân ngũ để chiến đấu. Các sử gia Ngô Sĩ Liên, Ngô Thì Sĩ và Phan Huy Chú đánh giá “đây là một chính sách tốt, chế độ hay của thời cận cổ”, “lúc nông nhàn thì luyện tập, lúc vô sự thì làm ruộng, khi có động thì chiểu sổ gọi ra”, cho nên “binh vẫn đủ mà không phải chi phí nhiều, càng thêm hăng hái chống giặc”, “thế nước càng thêm vững mạnh là nhờ vậy.
Đó là nội dung cơ bản của chính sách “ngụ binh ư nông” áp dụng rộng rãi dưới triều Lý. Chính sách “ngụ binh ư nông” thời Lý đã giúp nhà nước đảm bảo cân đối giữa quân thường trực và quân dự bị, khi hoà bình vẫn đủ sức canh phòng, thời chiến thì huy động được đông đảo quân số, thực hiện phương châm “chiến tranh nhân dân”, toàn dân là lính. Bình thường chỉ có khoảng 3-5 vạn quân, một bộ phận luân phiên về sản xuất, nhưng khi có chiến tranh, nhà nước huy động được hơn 10 vạn quân. Đây là một sáng tạo lớn của nhà Lý mà nhà Trần và nhà Lê đã vận dụng phát triển thành công rực rỡ. Chính sách này phù hợp với điều kiện, hoàn cảnh lịch sử đất nước thời bấy giờ. Với chính sách này nhà nước luôn duy trì một lực lượng quân đội cần thiết, đồng thời lại có số quân dự bị đông đảo tại các làng xã, sẵn sàng huy động khi có chiến tranh. Qua đó giảm thiểu tối đa những gánh nặng cho triều đình và nhân dân trong việc nuôi quân, đồng thời vẫn ổn định sản xuất, phát triển kinh tế đất nước. Chính sách này cũng giải quyết đồng thời hai nhiệm vụ dựng nước và giữ nước, giữa yêu cầu phát triển kinh tế và củng cố an ninh quốc phòng, bảo vệ đất nước.
Có thể nói, dưới triều Lý, quân đội đã có những bước tiến lớn trong việc tổ chức xây dựng lực lượng với một quân đội chính quy, tinh nhuệ và thiện chiến làm nòng cốt của lực lượng vũ trang. Đặc biệt chính sách “ngụ binh ư nông” đã thực sự phát huy hiệu quả, gắn quân đội với nhân dân, xây dựng được mối đoàn kết quân dân và thế trận toàn dân, góp phần xây dựng nên một binh chế Đại Việt cường thịnh, đánh thắng mọi kẻ thù xâm lược hùng mạnh, bảo vệ nền độc lập dân tộc.