a. Để tìm giá trị nhỏ nhất của x1² + x2², ta sử dụng công thức Viète: x1 + x2 = 2m - 1 và x1x2 = m - 2.

Ta có: x1² + x2² = (x1 + x2)² - 2x1x2 = (2m - 1)² - 2(m - 2) = 4m² - 4m + 1 - 2m + 4 = 4m² - 6m + 5.

Để tìm giá trị nhỏ nhất của x1² + x2², ta cần tìm giá trị nhỏ nhất của hàm số f(m) = 4m² - 6m + 5.

Đạo hàm của f(m) theo m là f'(m) = 8m - 6.

Để tìm giá trị nhỏ nhất của f(m), ta giải phương trình f'(m) = 0: 8m - 6 = 0 => m = 3/4.

Vậy, khi m = 3/4, giá trị nhỏ nhất của x1² + x2² là 4(3/4)² - 6(3/4) + 5 = 3/2.

b. Giải phương trình (x - 1)(x + 3) + 2(x - 1)√[(x + 3)/(x - 3)] = 8:

Đặt t = √[(x + 3)/(x - 3)], ta có: (x - 1)(x + 3) + 2(x - 1)t = 8.

Mở ngoặc ta được: x² + 2x - 3 + 2xt - 2t = 8.

Chuyển vế và nhóm các thành phần chứa x và t ta được: x² + (2 + 2t)x + (-3 - 2t - 8) = 0.

Áp dụng công thức Viète, ta có: x1 + x2 = - (2 + 2t) và x1x2 = -3 - 2t - 8.

Từ đó, ta có hệ phương trình:

- (2 + 2t) = -2 => t = 0.

- (-3 - 2t - 8) = 3 => t = -7.

Vậy, phương trình có 2 nghiệm là t = 0 và t = -7.