Giả sử số gạo ban đầu là \( x \) kg.

1. Lần thứ nhất, người đó bán được \( \frac{1}{3}x \) kg, nên số gạo còn lại là:
\[
x - \frac{1}{3}x = \frac{2}{3}x
\]

2. Lần thứ hai, người đó bán được \( \frac{3}{5} \) số gạo còn lại:
\[
\frac{3}{5} \cdot \frac{2}{3}x = \frac{2}{5}x
\]
Số gạo còn lại sau lần bán thứ hai là:
\[
\frac{2}{3}x - \frac{2}{5}x
\]

Để trừ đi, ta quy đồng mẫu số:
\[
\frac{2}{3}x = \frac{10}{15}x \quad \text{và} \quad \frac{2}{5}x = \frac{6}{15}x
\]
Vậy số gạo còn lại là:
\[
\frac{10}{15}x - \frac{6}{15}x = \frac{4}{15}x
\]

3. Theo đề bài, số gạo còn lại là 48 kg:
\[
\frac{4}{15}x = 48
\]

Giải phương trình trên:
\[
x = 48 \cdot \frac{15}{4} = 48 \cdot 3.75 = 180
\]

Vậy số gạo ban đầu người đó mang đi là **180 kg**.