phương trình x^2 − 2x − 2m = 0 (1) có 2 nghiệm phân biệt khi:
       Δ > 0
<=> b^2 - 4ac > 0
<=> (-2)^2 - 4(-2m).1 > 0
<=> 4 + 4.2m > 0
<=> 2m + 1 > 0
<=> m> -1/2
Ta lại có: (1 + x1^2)(1 + x2^2) = 5
<=> 1 + x2^2 + x1^2 + (x1.x2)^2 = 5
<=> (x1 + x2)^2 - 2.x1.x2 + (x1.x2)^2 = 4  (*)
Áp dụng hệ thức vi ét vào phương trình (1) ta có:
x1 + x2 = -b/a = 2/1 = 2
x1.x2 = c/a = -2m/1 = -2m
Thay vào (*) ta có:
2^2 - 2(-2m) + 4m^2 = 4
<=> 4m^2 + 4m = 0
<=> m = 0 (thỏa mãn)
hoặc m = -1 (loại vì m > -1/2)