Ta có

Đặt sin² 2x = t ( t ∈ [– 1; 1])

Suy ta 3t² – 6t – 12 = – 4m                           (*)

Lập bảng biến thiên hàm số f(t) = 3t² – 6t – 12 ta có

Suy ra phương trình (*) có nghiệm khi

Khi đó \(a = \frac{3}{4},b = \frac{4}\)

Ta có: \(ab = \frac{3}{4}.\frac{4} = \frac\)

Vậy \(ab = \frac\).