Đặt số học sinh của nhóm 1, nhóm 2 và nhóm 3 lần lượt là x, y và z.

Theo đề bài ta có:
1. x = 8y/11
2. x = 4z/5
3. x + y + z = 18

Từ (1) và (2) ta có:
8y/11 = 4z/5
=> 40y = 44z
=> 10y = 11z

Từ (3) và (1) ta có:
x + 11x/8 + 11x/10 = 18
=> x + 11x/8 + 11x/10 = 18
=> 80x + 88x + 88x = 1440
=> 256x = 1440
=> x = 1440/256
=> x = 5.625

Vì x, y, z là số nguyên nên ta phải tìm số nguyên thỏa mãn điều kiện 10y = 11z.
Ta thử các giá trị của y và z:
- y = 1, z = 1.1 (không thỏa mãn)
- y = 2, z = 2.2 (không thỏa mãn)
- y = 3, z = 3.3 (không thỏa mãn)
- y = 4, z = 4.4 (không thỏa mãn)
- y = 5, z = 5.5 (thỏa mãn)

Vậy số học sinh của mỗi nhóm là:
Nhóm 1: x = 5
Nhóm 2: y = 5 * 11/8 = 6.875 (không thỏa mãn)
Nhóm 3: z = 5 * 11/10 = 5.5

Vậy số học sinh của mỗi nhóm là:
Nhóm 1: 5 học sinh
Nhóm 2: 6 học sinh
Nhóm 3: 7 học sinh