Giả sử số học sinh trong lớp 5B là x.

Theo đề bài, số học sinh trong lớp 5A là 9/8 * x = 9x/8.

Số học sinh trong lớp 5C là 16/17 * x = 16x/17.

Tổng số học sinh trong 3 lớp là 5A + 5B + 5C = 9x/8 + x + 16x/17.

Đề bài cho biết tổng số học sinh là 102, vậy ta có phương trình:

9x/8 + x + 16x/17 = 102.

Để giải phương trình này, ta nhân mọi thành phần với 8 * 17 = 136:

17 * 9x + 8 * 17x + 8 * 16x = 102 * 136.

153x + 136x + 128x = 13872.

417x = 13872.

x = 13872 / 417.

x ≈ 33.29.

Vậy số học sinh trong lớp 5B là khoảng 33.29.

Số học sinh trong lớp 5A là 9x/8 ≈ 9 * 33.29 / 8 ≈ 37.16.

Số học sinh trong lớp 5C là 16x/17 ≈ 16 * 33.29 / 17 ≈ 31.16.

Vì số học sinh phải là số nguyên, nên ta có thể làm tròn số học sinh trong mỗi lớp:

Số học sinh trong lớp 5A là 37.

Số học sinh trong lớp 5B là 33.

Số học sinh trong lớp 5C là 31.