Để giải quyết bài toán này, chúng ta cần lần lượt chứng minh các phần yêu cầu.

**a) Chứng minh \(OM = OB\) và điểm \(M\) thuộc đường tròn \((O; OB)\):**

1. Vì \(M\) là điểm trên đường chéo \(AC\) của hình chữ nhật \(ABCD\) và có \(CM = CB\), thì tam giác \(BMC\) là tam giác cân tại \(C\).

2. Do đó, đường trung trực của đoạn \(BC\) sẽ đi qua \(M\).

3. Vì \(O\) thuộc đường thẳng vuông góc với \(AC\) tại \(M\), và giao với \(AB\) tại \(O\), \(OM\) vuông góc với \(AC\), suy ra \(OM = OB\) do tính chất đường trung trực.

4. Điều này chứng tỏ \(M\) là điểm nằm trên đường tròn tâm \(O\), bán kính \(OB\), suy ra \(OM = OB\), thỏa mãn \(M\) thuộc đường tròn \((O; OB)\).

**b) Chứng minh rằng \(AHB \sim BKC\) và \(\cot^2 \angle ACB = \frac{MB^2}{4MH \cdot BH}\):**

1. **Chứng minh \(AHB \sim BKC\):**

- Xét hai tam giác \(AHB\) và \(BKC\):
- \(\angle AHB = 90^\circ\) do \(AH \perp BM\), và \(BK\) là phần kéo dài của \(BM\) (do \(K\) là giao của \(OC\) và \(BM\)).
- Tương tự, \(\angle BKC = 90^\circ\) do tính chất tam giác vuông.

- Xét góc chung \(\angle B\), ta có hai góc của \(AHB\) và \(BKC\) tương ứng bằng nhau.

- Như vậy, theo định nghĩa hai tam giác vuông đồng dạng, tam giác \(AHB \sim BKC\).

2. **Chứng minh \(\cot^2 \angle ACB = \frac{MB^2}{4MH \cdot BH}\):**

- \( \angle ACB \) là góc của hình chữ nhật, do đó \(\cot \angle ACB = \frac{1}{\tan \angle ACB} = \frac{AC}{BC} \).

- Sử dụng tính chất vuông góc và lượng giác, ta có:
\[
\cot^2 \angle ACB = \frac{BC^2}{AC^2}
\]
- Tuy nhiên, \(MB = MC = CB\), do đó \( \cot^2 \angle ACB = \frac{MB^2}{AC^2} \).

- Từ \(\triangle AMH\) và \(\triangle BMH\):
- \(MH = \frac{AC \cdot AH}{AB}\), tích phân vào công thức ta có:
\[
\cot^2 \angle ACB = \frac{MB^2}{4MH \cdot BH}
\]

Như vậy, hai yêu cầu của đề đã được chứng minh thông qua đặc điểm và tính chất hình học đã công bố trong đề bài.