a+b2⋮a2b−1⇒a3+b2a2⋮a2b−1⇒a3+a+b2a2−a⋮ab2−1⇒a3+a⋮ab2−1⇒a(a2+1)⋮ab2−1⇒a2+1⋮ab2−1a+b2⋮a2b−1⇒a3+b2a2⋮a2b−1⇒a3+a+b2a2−a⋮ab2−1⇒a3+a⋮ab2−1⇒a(a2+1)⋮ab2−1⇒a2+1⋮ab2−1(do gcd(a,ab2−1)=1gcd(a,ab2−1)=1)
Suy ra a2+1≥ab2−1⇒a2+2≥ab2⇒a2+2≥b2a2+1≥ab2−1⇒a2+2≥ab2⇒a2+2≥b2 (do a≥1a≥1) mà a≤ba≤b nên a=ba=b vì nếu a=b−ka=b−k với b>k>0b>k>0 thì (b−k)2+2≥b2⇒b2−2bk+k2+2≥b2⇒k2+2≥2bk>2k2(b−k)2+2≥b2⇒b2−2bk+k2+2≥b2⇒k2+2≥2bk>2k2 (do b>kb>k) khi ấy k2≤2k2≤2 nên k=1k=1 khi ấy a=b−1a=b−1 ta có (b−1)2+2≥b2⇒3≥2b⇒b=1(b−1)2+2≥b2⇒3≥2b⇒b=1 (do bb dương) nên a=0a=0 vô lí, như vậy a=ba=b do đó a+a2⋮a3−1⇒a(a+1)⋮a3−1a+a2⋮a3−1⇒a(a+1)⋮a3−1 mà gcd(a,a3−1)=1⇒a+1⋮a3−1⇒a+1≥a3−1⇒a+2≥a3gcd(a,a3−1)=1⇒a+1⋮a3−1⇒a+1≥a3−1⇒a+2≥a3 với a≥2a≥2 ta cm dễ dàng f(a)=a3−a−2f(a)=a3−a−2 đồng biến trên [2,∞[2,∞ nên f(a)≥f(2)>0f(a)≥f(2)>0 do đó a3>a+2a3>a+2 suy ra vô lí do đó a=1a=1 khi ấy a=b=1a=b=1 nên a+b2⋮0a+b2⋮0 vô lí
TH2: a>ba>b khi ấy a+b2⋮a2b−1⇒a+b2⋮a(ab)−1⇒a+b2≥a(ab)−1>ab2−1a+b2⋮a2b−1⇒a+b2⋮a(ab)−1⇒a+b2≥a(ab)−1>ab2−1 (do a>ba>b)
Như vậy a+b2≥ab2−1⇒2≥(a−1)(b2−1)a+b2≥ab2−1⇒2≥(a−1)(b2−1) suy ra (a−1)(b2−1)=0,1,2(a−1)(b2−1)=0,1,2
Nếu (a−1)(b2−1)=0⇒a=1(a−1)(b2−1)=0⇒a=1 hoặc b=1b=1 với a=1a=1 thì b2+1⋮b−1⇒b2−1+2⋮b−1⇒2⋮b−1b2+1⋮b−1⇒b2−1+2⋮b−1⇒2⋮b−1 nên b−1=1,2⇒b=2,3b−1=1,2⇒b=2,3 còn nếu b=1b=1 thì a+1⋮a−1⇒2⋮a−1a+1⋮a−1⇒2⋮a−1 nên a=2,3a=2,3
Nếu (a−1)(b2−1)=1⇒b2−1=1⇒b2=2(a−1)(b2−1)=1⇒b2−1=1⇒b2=2 v

(m−1)(b−1)=mb−m−b+1=a+k−ka2+1=(a+1)(k−ka+1)

Vì m,b∈N∗ nên (m−1)(b−1)≥0
⇒(a+1)(k−ka+1)≥0⇒(k−ka+1)≥0
⇒1≥k(a−1)
Lúc này vì k,a∈N∗ nên a−1≥0. Suy ra chỉ có thể xảy ra 2 trường hợp:

Trường hợp 1: k(a−1)=0⇒a−1=0 hay a=1
Thay a=1 vào đẳng thức (m−1)(b−1)=(a+1)(k−ka+1) ta được
(m - 1)(b -1) = 2 \Rightarrow b - 1 = 1 \vee b - 1 = 2 \Rightarrow b = 2 \vee b = 3

Trường hợp 2: k(a - 1) = 1 \Rightarrow k = a - 1 = 1 hay k = 1 \wedge a = 2
Thay k = 1 và a=2 vào đẳng thức (m - 1)(b - 1) = (a+1)(k - ka + 1) ta được