Ta có: \(\frac{P}{3} = \frac{{{x^2} + 2xy - {y^2}}}{{4{x^2} + 2xy + {y^2}}}\) (*)

Xét y = 0 thì x² = \(\frac{3}{4} \Rightarrow x = \pm \frac{{\sqrt 3 }}{2}\)

Suy ra: \[\left[ \begin{array}{l}P = {\left( {\frac{{\sqrt 3 }}{2}} \right)^2} + 2.\frac{{\sqrt 3 }}{2}.0 - {0^2} = \frac{3}{4}\\P = {\left( { - \frac{{\sqrt 3 }}{2}} \right)^2} + 2.\left( { - \frac{{\sqrt 3 }}{2}.} \right)0 - {0^2} = \frac{3}{4}\end{array} \right.\]

Xét y khác 0, chia cả (*) cho y² ta được: \(\frac{P}{3} = \frac{{{{\left( {\frac{x}{y}} \right)}^2} + 2\frac{x}{y} - 1}}{{4{{\left( {\frac{x}{y}} \right)}^2} + 2\frac{x}{y} + 1}}\)

Đặt \(\frac{x}{y} = a \Rightarrow \frac{P}{3} = \frac{{{a^2} + 2a - 1}}{{4{a^2} + 2a + 1}}\)

* Xét \(\frac{P}{3} - \left( { - 2} \right) = \frac{{{a^2} + 2a - 1}}{{4{a^2} + 2a + 1}} + 2 = \frac{{{{\left( {3a + 1} \right)}^2}}}{{4{a^2} + 2a + 1}}\)

Vì (3a + 1)² ≥ 0 với mọi a nên \(\frac{{{{\left( {3a + 1} \right)}^2}}}{{4{a^2} + 2a + 1}} \ge 0\)

Suy ra: \(\frac{P}{3} - \left( { - 2} \right) \ge 0 \Rightarrow P \ge - 6\)

Vậy GTNN của P là –6 khi 3a + 1 = 0 hay a = \(\frac{{ - 1}}{3} \Leftrightarrow \frac{x}{y} = \frac{{ - 1}}{3} \Leftrightarrow - 3x = y\)

Thay vào 4x² + 2xy + y² = 3, ta được: 7x² = 3

⇔ \[\left[ \begin{array}{l}x = \frac{{\sqrt {21} }}{7}\\x = - \frac{{\sqrt {21} }}{7}\end{array} \right. \Rightarrow \left[ \begin{array}{l}y = \frac{{ - 3\sqrt {21} }}{7}\\y = \frac{{3\sqrt {21} }}{7}\end{array} \right.\]

Vậy GTNN của P là –6 khi (x; y) = \(\left( {\frac{{\sqrt {21} }}{7};\frac{{ - 3\sqrt {21} }}{7}} \right);\left( { - \frac{{\sqrt {21} }}{7};\frac{{3\sqrt {21} }}{7}} \right)\)

* Xét \(\frac{P}{3} - \frac{1}{3} = \frac{{{a^2} + 2a - 1}}{{4{a^2} + 2a + 1}} - \frac{1}{3} = \frac{{ - {{\left( {a - 2} \right)}^2}}}{{4{a^2} + 2a + 1}}\)

Vì –(a – 2)² ≤ 0 với mọi a nên: \(\frac{{ - {{\left( {a - 2} \right)}^2}}}{{4{a^2} + 2a + 1}} \le 0,\forall a\)

Suy ra: \(\frac{P}{3} - \frac{1}{3} \le 0 \Rightarrow P \le 1\)

Vậy GTLN của P là 1 khi a – 2 = 0 hay a = 2.

Khi đó x = 2y

Thay vào 4x² + 2xy + y² = 3, ta được: 21y² = 3

⇔ \[\left[ \begin{array}{l}y = \frac{1}{{\sqrt 7 }}\\y = - \frac{1}{{\sqrt 7 }}\end{array} \right. \Rightarrow \left[ \begin{array}{l}x = \frac{2}{{\sqrt 7 }}\\x = - \frac{2}{{\sqrt 7 }}\end{array} \right.\]

Vậy GTLN của P là 1 khi (x; y) = \(\left( {\frac{2}{{\sqrt 7 }};\frac{1}{{\sqrt 7 }}} \right);\left( { - \frac{2}{{\sqrt 7 }}; - \frac{1}{{\sqrt 7 }}} \right)\).