Thân thế Triệu Quang Phục là con của Thái phó Triệu Túc, người huyện Chu Diên. Ông được sử sách mô tả là người uy tráng dũng liệt. Ông cùng cha theo Lý Nam Đế khởi nghĩa từ ngày đầu (541), có công lao đánh đuổi quân Lương về nước, được giao chức Tả tướng quân nước Vạn Xuân.