BPTT (Backpropagation Through Time) là một thuật toán được sử dụng trong mạng nơ-ron hồi quy (RNN) để huấn luyện mô hình dự đoán chuỗi dữ liệu. BPTT hoán dụ và BPTT ẩn dụ là hai phương pháp khác nhau để tính toán gradient trong quá trình lan truyền ngược.

1. BPTT hoán dụ (Unfolded BPTT):
- BPTT hoán dụ là phương pháp truyền ngược thông thường trong RNN.
- Trong BPTT hoán dụ, mạng nơ-ron hồi quy được "mở rộng" thành một chuỗi các mạng nơ-ron truyền thẳng liên tiếp.
- Mỗi mạng nơ-ron trong chuỗi này tương ứng với một thời điểm trong chuỗi dữ liệu đầu vào.
- Gradient được tính toán cho mỗi mạng nơ-ron trong chuỗi này và được tích lũy để cập nhật trọng số của toàn bộ mạng.
- BPTT hoán dụ có thể dẫn đến vấn đề gradient phân rã hoặc phụ thuộc xa (long-term dependencies) trong quá trình huấn luyện.

2. BPTT ẩn dụ (Truncated BPTT):
- BPTT ẩn dụ là một phương pháp cải tiến của BPTT hoán dụ.
- Trong BPTT ẩn dụ, mạng nơ-ron hồi quy được "cắt ngắn" thành các phần nhỏ hơn.
- Thay vì tính toán gradient cho toàn bộ chuỗi dữ liệu, chỉ một số thời điểm gần nhất được sử dụng để tính toán gradient.
- Việc cắt ngắn này giúp giảm bớt vấn đề gradient phân rã và phụ thuộc xa.
- Tuy nhiên, BPTT ẩn dụ có thể dẫn đến mất mát thông tin trong quá trình huấn luyện.

Ví dụ: Giả sử chúng ta có một mạng nơ-ron hồi quy với 5 thời điểm đầu vào (t0, t1, t2, t3, t4). Chúng ta muốn huấn luyện mạng này bằng BPTT hoán dụ và BPTT ẩn dụ.

- BPTT hoán dụ: Mạng nơ-ron được mở rộng thành 5 mạng nơ-ron truyền thẳng liên tiếp, tương ứng với mỗi thời điểm đầu vào. Gradient được tính toán cho mỗi mạng nơ-ron và được tích lũy để cập nhật trọng số của toàn bộ mạng.

- BPTT ẩn dụ: Mạng nơ-ron được cắt ngắn thành 2 phần nhỏ hơn, ví dụ tại thời điểm t2. Gradient chỉ được tính toán cho mạng nơ-ron từ thời điểm t2 trở về trước. Các thời điểm sau t2 không được sử dụng để tính toán gradient.

Lựa chọn giữa BPTT hoán dụ và BPTT ẩn dụ phụ thuộc vào bài toán cụ thể và tài nguyên tính toán có sẵn. BPTT hoán dụ thường được sử dụng khi có đủ tài nguyên tính toán và khi mô hình cần học được các phụ thuộc xa trong dữ liệu. BPTT ẩn dụ thường được sử dụng khi tài nguyên tính toán hạn chế và khi mô hình chỉ cần học được các phụ thuộc gần nhất trong dữ liệu.