Ta có a+b3=21−a2−b2⇔(a+b)3+2a2+b2=2.

Vì a > 0, b > 0 ta có 2a2+b2≥a+b2 (theo AM – GM)

⇒a+b3+a+b2≤2⇔a+b3+a+b2−2≤0⇔a+b−1a+b2+2a+b+2≤0

⇔a+b−1≤0 (vì a+b2+2a+b+2>0 với a > 0, b > 0)

Chứng minh bất đẳng thức phụ sau: 1x+1y≥4x+y  x>0,  y>0(*)

Ta có 1x+1y≥4x+y⇔x+y2≥4xy⇔x−y2≥0 (luôn đúng)

Áp dụng bất đẳng thức (*), ta được:

1ab+1a2+b2≥4a2+b2+2ab⇔12ab+1a2+b2≥4a+b2≥4 (vì a+b≤1)

Với a>0,  b>0, ta có 1≥a+b≥2ab⇒1≥4ab⇒12ab≥2.

Khi đó M=1ab+1a2+b2=12ab+1a2+b2+12ab≥4+2⇔M≥6.

Dấu "=" xảy ra khi và chỉ khi a=b=12.

Vậy giá trị nhỏ nhất của M là 6 khi và chỉ khi a=b=12.