Gọi số học sinh của lớp 5a là x và số học sinh của lớp 5b là y.

Theo đề bài, ta có hệ phương trình:
x + y = 87 (1)
(5/7)x = (2/3)y (2)

Để giải hệ phương trình này, ta có thể làm như sau:

Từ phương trình (2), ta có:
x = (7/5)(2/3)y
x = (14/15)y

Thay x vào phương trình (1), ta có:
(14/15)y + y = 87
(29/15)y = 87
y = (15/29) * 87
y = 45

Thay y = 45 vào phương trình (1), ta có:
x + 45 = 87
x = 87 - 45
x = 42

Vậy, lớp 5a có 42 học sinh và lớp 5b có 45 học sinh.