Đặt số học sinh nam là x, số học sinh nữ là y.

Theo đề bài, ta có hệ phương trình:
x + y = 168
x = 11y/10

Thay x vào phương trình đầu tiên, ta được:
11y/10 + y = 168
11y + 10y = 1680
21y = 1680
y = 80

Vậy số học sinh nữ là 80 em.