Số cách lấy ra 5 cuốn sách và đem tặng cho 5 học sinh là:

S = A105= 30240 cách (chọn 5 cuốn trong 10 cuốn sau đó có sắp xếp 5 cuốn)

Số cách chọn sao cho không còn sách đại số là:

A = C72.5! = 2520 cách 

(chọn hết 3 cuốn Đại số có 1 cách, chọn 2 cuốn nữa trong 7 cuốn gồm 4 cuốn Giải tích và 3 cuốn Hình, sau đó xếp cho 5 bạn)

Số cách chọn sao cho không còn sách Giải tích là:

B = C61. 5! = 720 cách

(chọn hết 4 cuốn giải tích có 1 cách, chọn 1 cuốn trong 6 cuốn gồm 3 cuốn đại số và 3 cuốn hình, xếp 5 cuốn vừa chọn cho 5 bạn)

Số cách chọn sao cho không còn sách Hình là:

C =C72 .5! = 2520 cách

(chọn hết 3 cuốn Hình có 1 cách, chọn thêm 2 cuốn trong 7 cuốn gồm 3 cuốn đại và 4 cuốn Giải tích)

Vậy số cách tặng thỏa mãn yêu cầu bài toán là:

S – A – B – C = 24480 cách.