Chúng ta sẽ thu gọn các đa thức theo từng phần một.

**a)** Đa thức: \( 5x^2 - 3x(x + 2) \)

Bước 1: Phân tích phần \( -3x(x + 2) \):
\[
-3x(x + 2) = -3x^2 - 6x
\]

Bước 2: Thay vào đa thức ban đầu:
\[
5x^2 - 3x^2 - 6x
\]

Bước 3: Gộp các hạng tử tương tự lại:
\[
(5x^2 - 3x^2) - 6x = 2x^2 - 6x
\]

Vậy kết quả thu gọn của đa thức này là:
\[
2x^2 - 6x
\]

---

**b)** Đa thức: \( 3x^2y(2x^2 - y) - 4x^2(x^2y - y^2) \)

Bước 1: Phân tích từng phần.

Phần đầu tiên:
\[
3x^2y(2x^2 - y) = 3x^2y \cdot 2x^2 - 3x^2y \cdot y = 6x^4y - 3x^2y^2
\]

Phần thứ hai:
\[
-4x^2(x^2y - y^2) = -4x^2 \cdot x^2y + 4x^2 \cdot y^2 = -4x^4y + 4x^2y^2
\]

Bước 2: Kết hợp các phần đã phân tích:
\[
(6x^4y - 3x^2y^2) + (-4x^4y + 4x^2y^2)
\]

Bước 3: Gộp các hạng tử tương tự lại:
\[
(6x^4y - 4x^4y) + (-3x^2y^2 + 4x^2y^2) = 2x^4y + x^2y^2
\]

Vậy kết quả thu gọn của đa thức này là:
\[
2x^4y + x^2y^2
\]

---

Tóm lại, kết quả thu gọn của hai đa thức là:
a) \( 2x^2 - 6x \)
b) \( 2x^4y + x^2y^2 \)