Để tìm giá trị của tham số \( m \) sao cho biểu thức \( M = x_1^2 + x_2^2 \) đạt giá trị nhỏ nhất, trước tiên, chúng ta có thể sử dụng mối liên hệ giữa các nghiệm của phương trình bậc hai và hệ số của nó.

Cho phương trình:

\[
x^2 - 2(m-1)x + (m-5) = 0
\]

Theo định lý Viète, ta có:

- Tổng nghiệm: \( x_1 + x_2 = 2(m-1) \)
- Tích nghiệm: \( x_1 x_2 = m - 5 \)

Chúng ta cần tính \( M = x_1^2 + x_2^2 \). Sử dụng công thức:

\[
x_1^2 + x_2^2 = (x_1 + x_2)^2 - 2x_1 x_2
\]

Thay các giá trị từ định lý Viète vào công thức trên:

\[
M = (2(m-1))^2 - 2(m - 5)
\]

Tính toán biểu thức này:

\[
M = 4(m-1)^2 - 2(m - 5)
\]

Tiếp tục giản lược:

\[
M = 4(m^2 - 2m + 1) - 2m + 10
\]
\[
M = 4m^2 - 8m + 4 - 2m + 10
\]
\[
M = 4m^2 - 10m + 14
\]

Bây giờ, chúng ta cần tìm giá trị \( m \) sao cho \( M \) đạt giá trị nhỏ nhất. Đây là một hàm bậc hai có dạng:

\[
M = 4m^2 - 10m + 14
\]

Hàm bậc hai này có dạng \( ax^2 + bx + c \), với \( a = 4 > 0 \), do đó nó có giá trị nhỏ nhất tại đỉnh của parabol, được tính bằng công thức:

\[
m_{min} = -\frac{b}{2a} = -\frac{-10}{2 \cdot 4} = \frac{10}{8} = \frac{5}{4}
\]

Tiếp theo, chúng ta tính giá trị nhỏ nhất của \( M \) khi \( m = \frac{5}{4} \):

\[
M\left(\frac{5}{4}\right) = 4\left(\frac{5}{4}\right)^2 - 10\left(\frac{5}{4}\right) + 14
\]
\[
= 4 \cdot \frac{25}{16} - 10 \cdot \frac{5}{4} + 14
\]
\[
= \frac{100}{16} - \frac{50}{4} + 14
\]
\[
= \frac{100}{16} - \frac{200}{16} + \frac{224}{16}
\]
\[
= \frac{100 - 200 + 224}{16} = \frac{124}{16} = \frac{31}{4}
\]

Vậy giá trị nhỏ nhất của biểu thức \( M = x_1^2 + x_2^2 \) xảy ra khi \( m = \frac{5}{4} \) và giá trị nhỏ nhất là:

\[
\frac{31}{4}
\]

Tóm lại, giá trị của tham số \( m \) để \( M \) đạt giá trị nhỏ nhất là \( m = \frac{5}{4} \).