Lời giải

Để phương trình có hai nghiệm phân biệt ta có:

\(\left\{ \begin{array}{l}\Delta ' > 0\\a \ne 0\end{array} \right. \Leftrightarrow \left\{ \begin{array}{l}{m^2} - (m + 1)(m - 1) > 0\\m \ne - 1\end{array} \right.\)

\( \Leftrightarrow \left\{ \begin{array}{l}{m^2} - {m^2} + 1 > 0\\m \ne - 1\end{array} \right. \Leftrightarrow m \ne - 1\).

Áp dụng định lý Vi−ét ta có: \(\left\{ \begin{array}{l}{x_1} + {x_2} = \frac{{ - 2m}}\\{x_1}.{x_2} = \frac\end{array} \right.\)

Khi đó, ta có: x₁² + x₂² = 5 ⇔ (x₁ + x₂)² – 2x₁x₂ = 5

\( \Leftrightarrow {\left( {\frac{{ - 2m}}} \right)^2} - 2\frac = 5\)

⇔ 4m² – 2(m – 1)(m + 1) = 5(m + 1)²

⇔ 4m² – 2m² + 2 = 5m² + 10m + 5

⇔ 3m² + 10m + 3 = 0

\( \Leftrightarrow \left[ \begin{array}{l}m = - 3\\m = \frac{{ - 1}}{3}\end{array} \right.\) (thỏa mãn điều kiện).