Ta có: \({\cot ^2}x - {\tan ^2}x = \frac{{{{\cos }^2}x}}{{{{\sin }^2}x}} - \frac{{{{\sin }^2}x}}{{{{\cos }^2}x}}\)

\( = \frac{{{{\cos }^4}x - {{\sin }^4}x}}{{{{\sin }^2}x\,.\,{{\cos }^2}x}} = \frac{{4\cos 2x}}{{{{\sin }^2}2x}}\).

Điều kiện: \(\left\{ \begin{array}{l}\sin 2x \ne 0\\\cos 2x \ne 0\end{array} \right. \Leftrightarrow \sin 4x \ne 0\)

Lúc đó: \(\frac{{{{\cot }^2}x - {{\tan }^2}x}}{{\cos 2x}} = 16\left( {1 + \cos 4x} \right)\)

\[ \Leftrightarrow \frac{4}{{{{\sin }^2}2x}} = 16\left( {1 + \cos 4x} \right)\]

Û 1 = 4(1 + cos 4x)sin² 2x

Û 1 = 2(1 + cos 4x)(1 − cos 4x)

Û 1 = 2(1 – cos² 4x)

Û 1 = 2sin² 4x

Û 1 = 1 – cos 8x

Ûcos 8x = 0

\( \Leftrightarrow x = \frac{\pi } + \frac{{k\pi }}{8},\;k \in \mathbb{Z}\) (thỏa mãn)

Vậy họ nghiệm của phương trình là: \(x = \frac{\pi } + \frac{{k\pi }}{8},\;k \in \mathbb{Z}\).