a) Gọi O là trung điểm của BC. Khi đó, \(OB = OC = \frac{1}{2}BC.\)

Do BH và CK là đường cao tam giác ABC nên BH ⊥ AC tại H; CK ⊥ AB tại K

Suy ra tam giác BHC vuông tại H; tam giác BKC vuông tại K

Xét tam giác BKC vuông tại H có KO là đường trung tuyến ứng với cạnh huyền BC nên \(KO = \frac{1}{2}BC.\)

Chứng minh tương tự đối với ∆BKC vuông tại K, ta có \(HO = \frac{1}{2}BC.\)

Suy ra \[KO = OH = OB = OC = \frac{1}{2}BC = \frac{1}{2} \cdot 10 = 5\,\,{\rm{(cm}}).\]

Tứ giác BKHC có: OB = OK = OH = OC = 5 cm nên bốn điểm B, C, H, K cùng nằm trên đường tròn (O; R) với R = 5 cm.

b) Xét ∆ABC cân tại A (do AB = AC) có AO là đường trung tuyến nên đồng thời là đường cao, suy ra ∆ABO vuông tại O.

Áp dụng định lí Pythagore cho tam giác AOB vuông tại O, ta có:

\(OA = \sqrt {B{A^2} - O{B^2}} = \sqrt {{{13}^2} - {5^2}} = \sqrt {144} = 12\,\,({\rm{cm}}).\)

Vì 12 > 5 nên OA > R, suy ra điểm A nằm ngoài đường tròn (O; R).