Để chứng minh hệ phương trình luôn có nghiệm duy nhất \((x, y)\) và tìm giá trị lớn nhất của biểu thức \( P = x^2 + y^2 + 2x + 5y - 17 \), ta thực hiện như sau:

### Bước 1: Chứng minh hệ phương trình luôn có nghiệm duy nhất

Hệ phương trình là:

\[
\begin{cases}
x - my = 2 - 4m \quad (1) \\
mx + y = 3m + 1 \quad (2)
\end{cases}
\]

Để chứng minh hệ luôn có nghiệm duy nhất, ta tính định thức của hệ phương trình này. Biểu diễn hệ phương trình theo dạng ma trận:

\[
\begin{pmatrix}
1 & -m \\
m & 1
\end{pmatrix}
\begin{pmatrix}
x \\
y
\end{pmatrix} =
\begin{pmatrix}
2 - 4m \\
3m + 1
\end{pmatrix}
\]

Tính định thức:

\[
D = 1 \cdot 1 - (-m) \cdot m = 1 + m^2
\]

Vì \(1 + m^2\) luôn dương với mọi \(m\) (do \(m^2 \geq 0\)), nên định thức \(D \neq 0\). Vậy hệ phương trình luôn có nghiệm duy nhất.

### Bước 2: Tìm giá trị lớn nhất của biểu thức \(P\)

Dễ dàng nhận thấy biểu thức \(P\) có thể được viết lại dưới dạng hoàn thành bình phương:

\[
P = (x^2 + 2x) + (y^2 + 5y) - 17
\]

Hoàn thành bình phương cho \(x\):

\[
x^2 + 2x = (x + 1)^2 - 1
\]

Hoàn thành bình phương cho \(y\):

\[
y^2 + 5y = (y + \frac{5}{2})^2 - \frac{25}{4}
\]

Thay vào \(P\):

\[
P = \left((x + 1)^2 - 1\right) + \left((y + \frac{5}{2})^2 - \frac{25}{4}\right) - 17
\]

\[
P = (x + 1)^2 + (y + \frac{5}{2})^2 - 1 - \frac{25}{4} - 17
\]

\[
P = (x + 1)^2 + (y + \frac{5}{2})^2 - \frac{1}{4} - 17
\]

\[
P = (x + 1)^2 + (y + \frac{5}{2})^2 - \frac{69}{4}
\]

Biểu thức \(P\) đạt giá trị lớn nhất khi \((x + 1)^2\) và \((y + \frac{5}{2})^2\) đều đạt giá trị nhỏ nhất, nghĩa là bằng 0. Khi đó:

\[
x + 1 = 0 \Rightarrow x = -1
\]
\[
y + \frac{5}{2} = 0 \Rightarrow y = -\frac{5}{2}
\]

Thay vào \(P\):

\[
P = 0 - \frac{69}{4} = -\frac{69}{4}
\]

### Kết luận

Giá trị lớn nhất của biểu thức \(P\) là

\[
\boxed{-\frac{69}{4}}
\]