Gọi số học sinh lớp 9A là \( x \) và số học sinh lớp 9B là \( y \).

Theo đề bài, mỗi học sinh lớp 9A tặng 6 quyển sách giáo khoa và 3 quyển sách tham khảo, mỗi học sinh lớp 9B tặng 5 quyển sách giáo khoa và 4 quyển sách tham khảo. Tổng số sách mà học sinh hai lớp tặng là 738 quyển.

Ta có phương trình tổng số sách:
\[ 6x + 3x + 5y + 4y = 738 \]
\[ 9x + 9y = 738 \]
\[ x + y = 82 \quad (1) \]

Biết số sách giáo khoa nhiều hơn số sách tham khảo là 166 quyển. Ta có phương trình:
\[ (6x + 5y) - (3x + 4y) = 166 \]
\[ 3x + y = 166 \quad (2) \]

Giải hệ phương trình (1) và (2):
\[ \begin{cases}
x + y = 82 \\
3x + y = 166
\end{cases} \]

Trừ phương trình (1) từ phương trình (2):
\[ (3x + y) - (x + y) = 166 - 82 \]
\[ 2x = 84 \]
\[ x = 42 \]

Thay \( x = 42 \) vào phương trình (1):
\[ 42 + y = 82 \]
\[ y = 40 \]

Vậy số học sinh lớp 9A là 42 và số học sinh lớp 9B là 40.