Để rút gọn các biểu thức đã cho, chúng ta sẽ thực hiện từng bước một.

### a) Rút gọn biểu thức \((\sqrt{5} - \sqrt{3})^2\)

1. Sử dụng công thức bình phương của một hiệu:
\[
(a - b)^2 = a^2 - 2ab + b^2
\]
Trong trường hợp này, \(a = \sqrt{5}\) và \(b = \sqrt{3}\).

2. Tính từng phần:
\[
a^2 = (\sqrt{5})^2 = 5
\]
\[
b^2 = (\sqrt{3})^2 = 3
\]
\[
2ab = 2 \cdot \sqrt{5} \cdot \sqrt{3} = 2\sqrt{15}
\]

3. Thay vào công thức:
\[
(\sqrt{5} - \sqrt{3})^2 = 5 - 2\sqrt{15} + 3
\]
\[
= 8 - 2\sqrt{15}
\]

Vậy biểu thức rút gọn là:
\[
\boxed{8 - 2\sqrt{15}}
\]

---

### b) Rút gọn biểu thức \(2\sqrt{2} (5 + 2\sqrt{8} - 3\sqrt{18})\)

1. Đầu tiên, rút gọn các căn bậc hai trong biểu thức:
\[
\sqrt{8} = \sqrt{4 \cdot 2} = 2\sqrt{2}
\]
\[
\sqrt{18} = \sqrt{9 \cdot 2} = 3\sqrt{2}
\]

2. Thay các giá trị này vào biểu thức:
\[
2\sqrt{2} (5 + 2 \cdot 2\sqrt{2} - 3 \cdot 3\sqrt{2})
\]
\[
= 2\sqrt{2} (5 + 4\sqrt{2} - 9\sqrt{2})
\]
\[
= 2\sqrt{2} (5 - 5\sqrt{2})
\]

3. Nhân các thành phần trong ngoặc:
\[
= 2\sqrt{2} \cdot 5 - 2\sqrt{2} \cdot 5\sqrt{2}
\]
\[
= 10\sqrt{2} - 2 \cdot 5 \cdot 2
\]
\[
= 10\sqrt{2} - 20
\]

Vậy biểu thức rút gọn là:
\[
\boxed{10\sqrt{2} - 20}
\]