Karl sinh ngày 2 tháng 4 năm 742 Công nguyên, xuất thân trong gia tộc Arnulf, một gia tộc danh tiếng của vương quốc Frank. Ông là con trai trưởng của Pipin Lùn, viên Quản thừa (Maire du palais) cuối cùng của triều đại Merovingien (741 – 751) và là vua đầu tiên của triều đại Carolingien của vương quốc Frank. Mẹ ông là Bertrade, con gái của Bá tước xứ Laon. Theo các sử gia biên niên thời đó, cha mẹ của Karl chỉ chính thức kết hôn khi cậu được vài tuổi, lúc đó con trai của họ mới được làm phép rửa tội và đặt tên thánh. Năm Karl 7 tuổi, cậu có một đứa em tên là Karloman. Kể từ sau khi vua Clovis I qua đời, các vị vua Frank đều yếu kém, do đó các viên Quản thừa thâu tóm quyền bính. Ông cố của Carolus I là Heristal, viên Quản thừa đã thống nhất nội bộ của Vương quốc, dẹp tan các thế lực thù địch. Ông nội của ông là Karl Búa Sắt (Charles Martel), viên Quản thừa đã đánh bại quân xâm lược của Đế quốc Ả Rập trong trận Poitiers vào năm 732 Công nguyên.

Karl sớm tham gia các trò chơi đòi hỏi nhiều về vận động cơ bắp như săn bắn, cưỡi ngựa và đặc biệt là cậu rất thích bơi lội. Lớn lên một chút, Karl được dạy võ, dạy đánh kiếm, bắn cung và dạy về việc đánh trận. Cậu cũng được giáo dục về văn hóa, được các giáo sĩ kể chuyện về Kinh Thánh, về các Thánh tông đồ, về lịch sử Giáo hội và cả những bài học đạo đức rút ra từ các câu chuyện đó. Karl cũng được giáo dục về cách ứng xử và các nghi lễ tôn giáo. Tuy nhiên Karl không được học đọc học viết, một lỗ hổng kiến thức mà vị vua tương lai sẽ ra sức bù đắp về sau. Pipin Lùn cũng đã không bỏ qua một cơ hội nào để huấn luyện con trai mình về phép cai trị đất nước, cách đánh giá các cận thần,… Từ nhỏ, Karl đã theo Pipin trong các chuyến công cán, mắt thấy tai nghe mọi việc và còn tham gia phụ giúp cha mình việc chính sự, nhờ đó học hỏi được nhiều kinh nghiệm về mọi mặt.