Để rút gọn các biểu thức A và B, ta sẽ thực hiện từng bước như sau:

### a) Rút gọn biểu thức \( A \):

\[
A = x^2 (x - y) - xy(1 - yx) - x^3
\]

1. **Phân tích từng phần**:
- \( x^2(x - y) = x^3 - x^2y \)
- \( xy(1 - yx) = xy - xy^2x = xy - xy^2 \)

2. **Thay vào biểu thức A**:
\[
A = (x^3 - x^2y) - (xy - xy^2) - x^3
\]
\[
= x^3 - x^2y - xy + xy^2 - x^3
\]

3. **Rút gọn**:
\[
A = -x^2y - xy + xy^2
\]
\[
= -xy(x + 1) + xy^2
\]
\[
= xy^2 - xy(x + 1)
\]

### b) Rút gọn biểu thức \( B \):

\[
B = x(x + 3y + 1) - 2y(x - 1) - (y + x + 1)x
\]

1. **Phân tích từng phần**:
- \( x(x + 3y + 1) = x^2 + 3xy + x \)
- \( -2y(x - 1) = -2yx + 2y \)
- \( -(y + x + 1)x = -yx - x^2 - x \)

2. **Thay vào biểu thức B**:
\[
B = (x^2 + 3xy + x) - (2yx - 2y) - (yx + x^2 + x)
\]
\[
= x^2 + 3xy + x - 2yx + 2y - yx - x^2 - x
\]

3. **Rút gọn**:
\[
B = (x^2 - x^2) + (3xy - 2yx - yx) + (x - x) + 2y
\]
\[
= 0 + (3xy - 3xy) + 0 + 2y
\]
\[
= 2y
\]

### Kết quả:

- Biểu thức A sau khi rút gọn là:
\[
A = -xy(x + 1) + xy^2
\]

- Biểu thức B sau khi rút gọn là:
\[
B = 2y
\]