Lý Bí xuất thân từ một hào trưởng địa phương. Theo sử cũ, quê ông ở huyện Thái Bình (có lẽ ở phía trên thị xã Sơn Tây, trên hai bờ sông Hồng). Một thời, ông có ra làm việc với chính quyền đô hộ, nhận một chức quan nhỏ: giám quận (kiểm soát quân sự) ở Cửu Đức, Đức Châu (Đức Thọ, Hà Tĩnh).