Ta có: P3=x2+2xy−y24x2+2xy+y2 (*)

Xét y = 0 thì x² = 34⇒x=±32

Suy ra: P=322+2.32.0−02=34P=−322+2.−32.0−02=34

Xét y khác 0, chia cả (*) cho y² ta được: P3=xy2+2xy−14xy2+2xy+1

Đặt xy=a⇒P3=a2+2a−14a2+2a+1

* Xét P3−−2=a2+2a−14a2+2a+1+2=3a+124a2+2a+1

Vì (3a + 1)² ≥ 0 với mọi a nên 3a+124a2+2a+1≥0

Suy ra: P3−−2≥0⇒P≥−6

Vậy GTNN của P là -6 khi 3a + 1 = 0 hay a = −13⇔xy=−13⇔−3x=y

Thay vào 4x² + 2xy + y² = 3, ta được: 7x² = 3

⇔ x=217x=−217⇒y=−3217y=3217

Vậy GTNN của P là -6 khi (x; y) = 217;−3217;−217;3217

* Xét P3−13=a2+2a−14a2+2a+1−13=−a−224a2+2a+1

Vì –(a – 2)² ≤ 0 với mọi a nên: −a−224a2+2a+1≤0,∀a

Suy ra: P3−13≤0⇒P≤1

Vậy GTLN của P là 1 khi a – 2 = 0 hay a = 2.

Khi đó x = 2y

Thay vào 4x² + 2xy + y² = 3, ta được: 21y² = 3

⇔  y=17y=−17⇒x=27x=−27

Vậy GTLN của P là 1 khi (x; y) = 27;17;−27;−17.