Gọi x là số kg thóc ban đầu trong kho thứ nhất và y là số kg thóc ban đầu trong kho thứ hai.

Theo đề bài, ta có hệ phương trình sau:
x + y = 9620 (1)
(x + 5000) - (y - 3000) = 1680 (2)

Mở đơn nhất và giải hệ phương trình (1) và (2), ta có:
x + y = 9620
x - y = 2680

Cộng hai phương trình lại, ta được:
2x = 12300
x = 6150

Thay x = 6150 vào phương trình (1), ta có:
6150 + y = 9620
y = 9620 - 6150
y = 3470

Vậy, lúc đầu kho thứ nhất có 6150 kg thóc và kho thứ hai có 3470 kg thóc.