Để giải hệ phương trình đã cho, ta cần thực hiện các bước sau:

### a) Giải và biện luận hệ phương trình theo m.

Hệ phương trình là:
\[
\begin{cases}
(m - 1)x - my = 3m - 1 \quad (1) \\
2x - y = m + 5 \quad (2)
\end{cases}
\]

**Giải phương trình (2)** theo y:
\[
y = 2x - m - 5
\]

**Thay y vào phương trình (1):**
\[
(m - 1)x - m(2x - m - 5) = 3m - 1
\]

Giải biểu thức này:
\[
(m - 1)x - 2mx + m^2 + 5m = 3m - 1
\]
\[
(mx - 1)x + (m^2 + 5m - 3m + 1) = 0
\]
\[
(m - 2)x + (m^2 + 2m + 1) = 0
\]

Điều kiện để hệ phương trình có nghiệm duy nhất:
\[
(m - 1) \neq 0 \Rightarrow m \neq 1
\]
Và phương trình bậc nhất trên có nghiệm duy nhất khi:
\[
m - 2 \neq 0 \Rightarrow m \neq 2
\]

### b) Xác định m để hệ phương trình có nghiệm duy nhất (x, y) sao cho \( P = x^2 + y^2 \) đạt giá trị nhỏ nhất.

Ta đã có:
\[
y = 2x - m - 5
\]
Thay y vào P:
\[
P = x^2 + (2x - m - 5)^2
\]
\[
P = x^2 + (4x^2 - 4x(m + 5) + (m + 5)^2)
\]
\[
P = 5x^2 - 4x(m + 5) + (m + 5)^2
\]

Để P đạt giá trị nhỏ nhất, ta tính đạo hàm và tìm điểm cực tiểu:
\[
\frac{dP}{dx} = 10x - 4(m + 5) = 0 \Rightarrow x = \frac{2(m + 5)}{5}
\]

Thay vào y để tìm y:
\[
y = 2\left(\frac{2(m + 5)}{5}\right) - m - 5 = \frac{4(m + 5)}{5} - m - 5
\]

Tính P theo m và ứng với giá trị của x và y để tìm ra giá trị nhỏ nhất.

### Kết luận
Với m khác 1 và 2, hệ có nghiệm duy nhất, và ta tìm giá trị m phù hợp để P đạt giá trị nhỏ nhất thông qua đạo hàm và biện luận thêm theo yêu cầu của bài toán.