Để rút gọn các biểu thức \(A\) và \(B\), ta thực hiện từng bước một:

### a) Rút gọn biểu thức \(A\):
\[
A = 3x^2 + 2xy + 2y^3 - 3x^2 - 7xy
\]
Gộp các hạng tử giống nhau:
\[
A = (3x^2 - 3x^2) + (2xy - 7xy) + 2y^3
\]
\[
A = 0 - 5xy + 2y^3
\]
Vậy biểu thức \(A\) rút gọn được là:
\[
A = 2y^3 - 5xy
\]

### b) Rút gọn biểu thức \(B\):
\[
B = (2x - y)(2x + y) + \frac{20x^3y^2}{-5xy^2}
\]
Tính phần đầu tiên:
\[
(2x - y)(2x + y) = 2x(2x) + 2xy - y(2x) - y(y) = 4x^2 - y^2
\]

Tính phần thứ hai:
\[
\frac{20x^3y^2}{-5xy^2} = \frac{20x^3}{-5x} = -4x^2
\]

Kết hợp lại:
\[
B = (4x^2 - y^2) - 4x^2
\]
\[
B = 4x^2 - 4x^2 - y^2 = -y^2
\]
Vậy biểu thức \(B\) rút gọn được là:
\[
B = -y^2
\]

### Kết quả:
- \(A = 2y^3 - 5xy\)
- \(B = -y^2\)