Ta có: a2+b2+ab=3⇔a2+b2=3−ab

Ta thấy a−b2≥0⇔a2+b2≥2ab⇔3−ab≥2ab⇔ab≤1

Lại có: a+b2≥0⇔a2+b2≥−2ab⇔3−ab≥−2ab⇔3≥−ab⇔ab≥−3

⇒−3≤ab≤1

Xét a2+b2=3−ab với −3≤ab≤1

⇔a2+b22=3−ab2⇔a4+b4+2a2b2=9−6ab+a2b2⇔a4+b4=−a2b2−6ab+9

Khi đó: P=a4+b4−ab=−a2b2−6ab+9−ab=−ab2−7ab+9=854−ab+722

Vì −3≤ab≤1⇒12≤ab+72≤92⇔ab+722≤814

Suy ra P=854−ab+722≥854−814=1⇔P≥1

Dấu "=" xảy ra khi ab=1 và a2+b2=2⇒a=1,b=1a=−1,b=−1

Ta lại có: P=−ab2−7ab+9=ab+3−ab−4+21

Mà −3≤ab≤1 nên ab+3≥0−ab−4<0nên ab+3−ab−4+21

Dấu "=" xảy ra khi ab=−3a2+b2+ab=3⇔ab=−3a+b2=0⇔a=3b=−3a=−3b=3

Vậy giá trị lớn nhất của P là 21, giá trị nhỏ nhất của P là 1.