a) Phương trình có ∆ = (5k)² ‒ 4.(‒1).4 = 25k² + 16.

Do k² ≥ 0 nên 25k² + 16 > 0.

Do đó phương trình trên có hai nghiệm phân biệt.

Theo định lí Viète ta có: x₁ + x₂ = 5k; x₁x₂ = ‒4.

Theo bài, \[x_1^2 + x_2^2 + 6{x_1}{x_2} = 9\]

\[x_1^2 + x_2^2 + 2{x_1}{x_2} + 4{x_1}{x_2} = 9\]

\[{\left( {{x_1} + {x_2}} \right)^2} + 4{x_1}{x_2} = 9\]

Thay x₁ + x₂ = 5k và x₁x₂ = ‒4 vào đẳng thức trên ta được:

(5k)² + 4.(‒4) = 9

25k² ‒16 = 9

k² = 1

k = 1 hoặc k = ‒1.

Vậy k ∈ {‒1; 1}.

b) Nếu k  ≠ 0, thì phương trình đã cho là phương trình bậc hai, có

∆’ = [‒3(k ‒ 1)]² ‒ k.9(k ‒ 3)

= (‒3k + 3)² ‒ 9k² + 27k

= 9k² ‒ 18k + 9 ‒ 9k² + 27k

= 9k + 9.

Để phương trình có hai nghiệm thì ∆ ≥ 0, tức là 9k + 9 ≥ 0 hay k ≥ ‒1.

Theo định lí Viète ta có: \[{x_1} + {x_2} = \frac{{6\left( {k - 1} \right)}}{k};\,\,{x_1}{x_2} = \frac{{9\left( {k - 3} \right)}}{k}.\]

Thay \[{x_1} + {x_2} = \frac{{6\left( {k - 1} \right)}}{k}\] và \[{x_1}{x_2} = \frac{{9\left( {k - 3} \right)}}{k}\] vào đẳng thức x₁ + x₂ – x₁ x₂ = 0 ta có:

\[\frac{{6\left( {k - 1} \right)}}{k} - \frac{{9\left( {k - 3} \right)}}{k} = 0\]

\[\frac{{6\left( {k - 1} \right) - 9\left( {k - 3} \right)}}{k} = 0\]

6k ‒ 6 ‒ 9k + 27 = 0

‒3k = ‒21

    k = 7 (thỏa mãn điều kiện k ≥ ‒1 và k ≠ 0).

Vậy k = 7.