Gọi tổng số sách lớp 5A thu được là x.

Số sách thiếu nhi là 3/5 tổng số sách, nên số sách thiếu nhi là (3/5)x.

Số sách tham khảo là 26 quyển, nên số sách tham khảo là 26.

Số sách giáo khoa là 1/8 tổng số sách thiếu nhi và sách tham khảo, nên số sách giáo khoa là (1/8)(số sách thiếu nhi + số sách tham khảo) = (1/8)((3/5)x + 26).

Vì tổng số sách lớp 5A thu được là x, nên ta có phương trình:

x = (3/5)x + 26 + (1/8)((3/5)x + 26).

Giải phương trình trên ta được:

x = (3/5)x + 26 + (3/40)x + (13/8).

Chuyển các phân số về cùng mẫu số:

x = (24/40)x + (26/40)x + (13/8).

x = (63/40)x + (13/8).

Nhân cả hai vế của phương trình với 40 để loại bỏ mẫu số:

40x = 63x + 26.

Chuyển các thành viên chứa x về cùng một vế:

40x - 63x = 26.

-23x = 26.

Chia cả hai vế của phương trình cho -23:

x = -26/23.

Vì số sách không thể là số âm, nên không có số sách lớp 5A thu được.

Do đó, không có quyển sách thiếu nhi và sách giáo khoa thu được trong lớp 5A.