Để giải bài toán này, ta cần tìm số học sinh của từng khối lớp trong kỳ thi.

Gọi số học sinh lớp 6 là x, số học sinh lớp 7 là y, số học sinh lớp 8 là z.

Theo đề bài:
- Số học sinh lớp 6 chiếm 30% tổng số học sinh tham gia, tức là x = 0.3 * 500 = 150.
- Số học sinh lớp 7 chiếm 10/17 tổng số học sinh lớp 7 và lớp 8, tức là y = 10/17 * (y + z).
- Số học sinh lớp 8 chiếm 5/9 tổng số học sinh lớp 7 và lớp 8, tức là z = 5/9 * (y + z).

Giải hệ phương trình:
- x = 150
- y = 10/17 * (y + z)
- z = 5/9 * (y + z)

Thay x = 150 vào 2 phương trình sau, ta có:
- y = 10/17 * (y + z)
- z = 5/9 * (y + z)

Giải hệ phương trình trên, ta tìm được số học sinh của từng khối lớp:
- x = 150
- y = 170
- z = 90

Vậy số học sinh của mỗi khối lớp là:
- Lớp 6: 150 học sinh
- Lớp 7: 170 học sinh
- Lớp 8: 90 học sinh

Đáp án: Số học sinh mỗi khối lớp là lớp 6: 150 học sinh, lớp 7: 170 học sinh, lớp 8: 90 học sinh.