Để rút gọn biểu thức, ta sẽ thực hiện các bước sau:

1. Mở ngoặc đầu tiên bằng cách nhân từng thành phần trong ngoặc đơn với từng thành phần trong ngoặc kép:
(X + 2y)(x^2 - 2xy + y^2) = X(x^2 - 2xy + y^2) + 2y(x^2 - 2xy + y^2)
= x^3 - 2x^2y + xy^2 + 2yx^2 - 4xy^2 + 2y^3
= x^3 + y^3 - 2x^2y - 3xy^2

2. Mở ngoặc thứ hai bằng cách nhân từng thành phần trong ngoặc đơn với từng thành phần trong ngoặc kép:
(x - 2)(x^2 + 2x + 4) = x(x^2 + 2x + 4) - 2(x^2 + 2x + 4)
= x^3 + 2x^2 + 4x - 2x^2 - 4x - 8
= x^3 - 8

3. Kết hợp các thành phần tương tự:
(x^3 + y^3 - 2x^2y - 3xy^2) - (x^3 - 8)
= x^3 + y^3 - 2x^2y - 3xy^2 - x^3 + 8
= y^3 - 2x^2y - 3xy^2 + 8

Vậy biểu thức đã được rút gọn thành y^3 - 2x^2y - 3xy^2 + 8.