Để tìm hệ số của \(x^3\) trong đa thức \(P(x)\) và \(Q(x)\), chúng ta cần rút gọn từng đa thức này.

### a) Xét đa thức \(P(x) = (x^3 - 3x^2 + 2x + 1)(-x^2) - x(2x^2 - 3x + 1)\)

**Bước 1: Tính tích \((x^3 - 3x^2 + 2x + 1)(-x^2)\)**

\[
P_1 = -x^2 \cdot x^3 + (-x^2) \cdot (-3x^2) + (-x^2) \cdot 2x + (-x^2) \cdot 1
= -x^5 + 3x^4 - 2x^3 - x^2
\]

**Bước 2: Tính tích \(-x(2x^2 - 3x + 1)\)**

\[
P_2 = -x(2x^2) + x(3x) - x(1) = -2x^3 + 3x^2 - x
\]

**Bước 3: Cộng hai kết quả lại**

\[
P(x) = P_1 + P_2 = (-x^5 + 3x^4 - 2x^3 - x^2) + (-2x^3 + 3x^2 - x)
\]

Gom lại các hệ số:

\[
= -x^5 + 3x^4 + (-2x^3 - 2x^3) + (-x^2 + 3x^2) - x
= -x^5 + 3x^4 - 4x^3 + 2x^2 - x
\]

Hệ số của \(x^3\) trong \(P(x)\) là \(-4\).

### b) Xét đa thức \(Q(x) = [5x^2 - a(x + a)] - [3(a^2 - x^2) + 2ax] + [2ax - 4(a + 2ax^2)]\)

**Bước 1: Rút gọn từng phần**

\[
Q_1 = 5x^2 - a(x + a) = 5x^2 - ax - a^2
\]
\[
Q_2 = -[3a^2 - 3x^2 + 2ax] = -3a^2 + 3x^2 - 2ax
\]
\[
Q_3 = 2ax - 4(a + 2ax^2) = 2ax - 4a - 8ax^2
\]

**Bước 2: Cộng các phần lại**

\[
Q(x) = (5x^2 - ax - a^2) + (-3a^2 + 3x^2 - 2ax) + (2ax - 4a - 8ax^2)
\]
Gom lại các hệ số:

\[
= (5x^2 + 3x^2 - 8ax^2) + (-ax - 2ax + 2ax) + (-a^2 - 3a^2 - 4a)
\]
\[
= (5 + 3 - 8a)x^2 + (-1 - 2 + 2)ax + (-4 - 3a^2 - 4a)
\]

Từ đó, hệ số của \(x^3\) trong \(Q(x)\) là \(0\) (không có hạng tử chứa \(x^3\)).

### Kết luận:
- Hệ số của \(x^3\) trong \(P(x)\) là \(-4\).
- Hệ số của \(x^3\) trong \(Q(x)\) là \(0\).