Gọi số quả cam trong rổ thứ nhất là \( x \) và số quả cam trong rổ thứ hai là \( y \).

Theo đề bài, ta có hai điều kiện:

1. Tổng số quả cam trong hai rổ là 96:
\[
x + y = 96
\]

2. Nếu chuyển 4 quả từ rổ thứ nhất sang rổ thứ hai, thì số quả cam trong rổ thứ nhất bằng \(\frac{3}{5}\) số quả cam trong rổ thứ hai:
\[
x - 4 = \frac{3}{5}(y + 4)
\]

Bây giờ, ta sẽ giải hệ phương trình này.

**Bước 1:** Từ phương trình đầu tiên, ta có:
\[
y = 96 - x
\]

**Bước 2:** Thay \( y \) vào phương trình thứ hai:
\[
x - 4 = \frac{3}{5}((96 - x) + 4)
\]
\[
x - 4 = \frac{3}{5}(100 - x)
\]
\[
x - 4 = \frac{300 - 3x}{5}
\]

**Bước 3:** Nhân cả hai vế với 5 để loại bỏ mẫu:
\[
5(x - 4) = 300 - 3x
\]
\[
5x - 20 = 300 - 3x
\]

**Bước 4:** Cộng \( 3x \) vào cả hai vế:
\[
5x + 3x - 20 = 300
\]
\[
8x - 20 = 300
\]

**Bước 5:** Cộng 20 vào cả hai vế:
\[
8x = 320
\]

**Bước 6:** Chia cả hai vế cho 8:
\[
x = 40
\]

Vậy, số quả cam trong rổ thứ nhất lúc đầu là 40 quả.

**Bước 7:** Tìm \( y \):
\[
y = 96 - x = 96 - 40 = 56
\]

**Kiểm tra:** Nếu chuyển 4 quả từ rổ thứ nhất sang rổ thứ hai:
- Rổ thứ nhất: \( 40 - 4 = 36 \)
- Rổ thứ hai: \( 56 + 4 = 60 \)

Kiểm tra tỷ lệ:
\[
36 = \frac{3}{5} \times 60 \quad (Đúng)
\]

Vậy, lúc đầu mỗi rổ thứ nhất có 40 quả cam.