Năm 1923, chỉ mới 10 tuổi, Lý Tự Trọng được sang Trung Quốc học tập, và hoạt động trong Hội Thanh niên Cách mạng đồng chí. Năm 1926, ông về nước hoạt động với nhiệm vụ thành lập đoàn Thanh niên Cộng sản Đông Dương và làm liên lạc cho Xứ ủy Nam Kỳ với Đảng Cộng sản Việt Nam.

Ngày 9 tháng 2 năm 1931, trong buổi mít tinh kỷ niệm một năm cuộc khởi nghĩa Yên Bái tổ chức tại Sài Gòn, Lý Tự Trọng đã bắn chết viên mật thám Le Grand để bảo vệ diễn giả Phan Bôi đang diễn thuyết tại quảng trường Lareni. Tuy nhiên, sau đó ông đã bị bắt giam vào Khám Lớn và bị kết án tử hình ngày 21 tháng 11 năm 1931 khi mới 17 tuổi. Sự kiện này làm dấy lên một phong trào đấu tranh mạnh mẽ ở Khám Lớn khiến từ đó cai ngục tại đây luôn gọi Lý Tự Trọng là "Ông Nhỏ".