Gọi số học sinh khối 6 là x.
Số học sinh khối 7 là y.
Số học sinh khối 8 là z.

Theo đề bài, ta có hệ phương trình sau:
x + y + z = 500 (1) (tổng số học sinh tham gia là 500)

Số học sinh khối 6 chiếm 30% tổng số học sinh dự thi, nên:
x = 0.3 * (x + y + z) = 0.3 * 500 = 150 (2)

10/17 số học sinh khối 7 bằng 5/9 số học sinh khối 8, nên:
(10/17) * y = (5/9) * z (3)

Từ (2), ta có x = 150.
Thay x = 150 vào (1), ta có:
150 + y + z = 500
y + z = 350 (4)

Từ (3), ta có:
(10/17) * y = (5/9) * z
9 * (10/17) * y = 5 * z
90/17 * y = 5 * z (5)

Từ (4) và (5), ta có hệ phương trình:
y + z = 350
90/17 * y = 5 * z

Giải hệ phương trình trên, ta tìm được giá trị của y và z:
y = 170
z = 180

Thay y = 170 và z = 180 vào (1), ta có:
x + 170 + 180 = 500
x = 150

Vậy, số học sinh khối 6 là 150, số học sinh khối 7 là 170, số học sinh khối 8 là 180.