Giả sử số quyển báo ban đầu trong thư viện là B và số quyển truyện ban đầu là T.

a) Từ các thông tin đã cho, ta có hệ phương trình sau:
  - Bạn đã mượn đi 3/5 số báo, nghĩa là số báo còn lại là 2/5 B.
  - Bạn đã mượn đi 2/7 số truyện, nghĩa là số truyện còn lại là 5/7 T.
  - Số truyện còn lại gấp rưỡi số báo còn lại, nghĩa là 5/7 T = 2(2/5 B).
  - Số báo còn lại ít hơn số truyện còn lại 30 quyển, nghĩa là 2/5 B < 5/7 T - 30.

Giải hệ phương trình này, ta có:
  - Từ phương trình 5/7 T = 2(2/5 B), ta suy ra T = (4/5)(2/5 B) = 8/25 B.
  - Thay giá trị T vào phương trình 2/5 B < 5/7 T - 30, ta được 2/5 B < 5/7 * (8/25 B) - 30.
  - Giải phương trình này, ta tìm được giá trị B = 210.

Vậy số quyển báo ban đầu trong thư viện là 210, và theo đó số quyển truyện ban đầu là 8/25 * 210 = 168.

b) Ban đầu thư viện có 210 quyển báo và 168 quyển truyện.