Ban đầu trong thời Xuân Thu và Chiến Quốc, các nước nhỏ đã độc lập xây dựng các tường thành ở phương bắc nhằm tránh giặc Hung nô tràn xuống. Cho đến khi Tần Thủy Hoàng thống nhất Trung Quốc thì ông cũng đã liên kết các tuyến phòng thủ rời rạc của các nước thành Vạn lý trường thành.
Tranh vẽ Vạn Lý Trường Thành vào năm 1900
Lý do để Tần Thủy Hoàng xây Vạn Lý Trường Thành bắt nguồn từ một câu "sấm": "Vong Tần giả, Hồ dã" (Tần mất là do Hồ). Tần Thủy Hoàng tưởng chữ "Hồ" là chỉ giặc Hồ phương Bắc. Dù người làm mất nhà Tần hóa ra là Thái tử "Hồ" Hợi, di sản mà hoàng đế thống nhất Trung Quốc để lại cũng đã đặt nền móng cho Vạn Lý Trường Thành sau này.
Một tường thành có tính chất phòng thủ biên giới phía bắc được xây dựng và duy trì bởi nhiều triều đại trong nhiều khoảng thời gian trong lịch sử Trung Quốc. Mục đích chính của nó là bảo vệ người Trung Quốc khỏi sự di cư của người Mông Cổ và người Thổ Nhĩ Kỳ. Có năm giai đoạn hình thành chính: