Để giải bài toán này, chúng ta có thể dùng quy tắc đếm và lý thuyết tập hợp.

Gọi:
- Số học sinh giỏi toán: \( A \)
- Số học sinh giỏi lý: \( B \)
- Số học sinh giỏi hóa: \( C \)

Từ đề bài:
- Số học sinh giỏi toán không giỏi lý: 5.
- Số học sinh giỏi hóa không giỏi toán: 3.
- Số học sinh giỏi cả ba môn: 1.

Đặt:
- Số học sinh giỏi toán = \( x \)
- Số học sinh giỏi lý = \( y \)
- Số học sinh giỏi hóa = \( z \)

Ta có:
1. Số học sinh giỏi môn Toán: \( x = 5 + 1 + t \) (trong đó \( t \) là số học sinh giỏi toán và lý nhưng không giỏi hóa)
2. Số học sinh giỏi môn Hóa: \( z = 3 + 1 + s \) (trong đó \( s \) là số học sinh giỏi hóa và lý nhưng không giỏi toán)
3. Số học sinh giỏi môn Lý sẽ được tính theo tương tự.

Ta có tổng số học sinh:
\[
40 = (5 + t + 1) + (3 + s + 1) + (t + s + 1) + n
\]
Trong đó \( n \) là số học sinh không giỏi cả ba môn trên.

Giải phương trình:
\[
40 = 6 + t + s + n
\]
\[
n = 40 - 6 - t - s = 34 - t - s
\]

Để tìm được số học sinh không giỏi môn nào, ta cần giá trị của \( t \) và \( s \), nhưng vì không có đủ thông tin để xác định riêng \( t \) và \( s \), ta chỉ có thể suy ra được:

Số học sinh không giỏi môn nào, \( n = 34 - t - s \).

Với các thông tin từ bài, nếu ta không biết cụ thể về số lượng học sinh giỏi môn nào nữa, ta không thể xác định giá trị chính xác. Nhưng số học sinh không giỏi toán, lý, hóa tối thiểu là 34 học sinh, nếu tất cả các học sinh giỏi môn còn lại đều là độc lập.

**Kết luận:** Có tối thiểu 34 học sinh của lớp 10.4 không giỏi môn nào trong toán, lý, hóa.