Gọi số vở ban đầu của Nam là \( x \).

1. Nam cho Hùng 1/3 số vở:
- Số vở Nam còn lại sau khi cho Hùng là:
\[
x - \frac{1}{3}x = \frac{2}{3}x.
\]

2. Nam cho An 1/5 số vở còn lại:
- Số vở Nam cho An là:
\[
\frac{1}{5} \times \frac{2}{3}x = \frac{2}{15}x.
\]
- Sau khi cho An, số vở Nam còn lại là:
\[
\frac{2}{3}x - \frac{2}{15}x.
\]

3. Tính số vở còn lại:
- Để thực hiện phép trừ, ta cần đưa về mẫu chung. Mẫu chung của \( 3 \) và \( 15 \) là \( 15 \):
\[
\frac{2}{3}x = \frac{10}{15}x.
\]
- Thay vào biểu thức:
\[
\frac{10}{15}x - \frac{2}{15}x = \frac{8}{15}x.
\]

4. Theo bài toán, số vở còn lại của Nam là 40 quyển, nên có phương trình:
\[
\frac{8}{15}x = 40.
\]

5. Giải phương trình:
- Nhân cả hai vế với \( 15 \):
\[
8x = 600.
\]
- Chia cả hai vế cho \( 8 \):
\[
x = 75.
\]

Vậy, số quyển vở ban đầu của Nam là \( 75 \) quyển.