a) Có tất cả 5 + 4 + 3 = 12 quyển sách.

Cách sắp xếp các quyển sách một cách tùy ý là: 12! (cách)

b) Chọn vị trí ở giữa cho 5 quyển sách Toán nên có số cách là 5! (cách)

Chọn vị trí đầu cho sách lý, có số cách là 4! (cách)

Chọn vị trí cuối cho sách văn, có số cách là 3! (cách)

Hoán đổi vị trí đầu và vị trí cuối nên thêm 2! (cách)

Vậy số cách sắp xếp các quyển sách trên theo từng môn và sách Toán nằm ở giữa là:

4!.5!.3!.2! = 34560 (cách)