Để giải hệ phương trình này, ta thay m = √2 vào các phương trình:

mx - y = 2
√2x - y = 2

3x - my = 5
3x - √2y = 5

Tiếp theo, ta có thể giải hệ phương trình này bằng phương pháp loại trừ hoặc cộng và trừ các phương trình với nhau.

Ta nhân phương trình thứ nhất với √2 và phương trình thứ hai với 2 để loại bỏ y:

2(√2x - y) = 2(2)
4√2x - 2y = 4

√2x - y = 2
4√2x - 2y = 4

Tiếp theo, ta trừ phương trình thứ nhất từ phương trình thứ hai:

(4√2x - 2y) - (√2x - y) = 4 - 2
4√2x - 2y - √2x + y = 2
(4√2 - √2)x - (2 - 1)y = 2
3√2x - y = 2

Ta có hệ phương trình mới:

3√2x - y = 2
3x - √2y = 5

Tiếp theo, ta nhân phương trình thứ nhất với √2 và phương trình thứ hai với 3 để loại bỏ y:

√2(3√2x - y) = √2(2)
6x - √2y = 2√2

3(3x - √2y) = 3(5)
9x - 3√2y = 15

Tiếp theo, ta cộng phương trình thứ nhất với phương trình thứ hai:

(6x - √2y) + (9x - 3√2y) = 2√2 + 15
15x - 4√2y = 2√2 + 15

Ta có hệ phương trình mới:

15x - 4√2y = 2√2 + 15
15x - 4√2y = 2√2 + 15

Hai phương trình này giống nhau, vậy hệ phương trình có vô số nghiệm.