Để giải bài toán này, chúng ta bắt đầu với việc sử dụng một số tính chất của hình học.

### Phần a: Tính độ dài dây AB

1. **Tam giác MAB**: Trong tam giác MAB với MA = MB (vì là tiếp tuyến từ M đến O) và góc \( \angle AMB = 60^\circ \), chúng ta có thể sử dụng công thức chu vi tam giác:

\[
\text{Chu vi} = MA + MB + AB
\]

Vì \( MA = MB \), đặt \( MA = MB = x \).
Vậy chu vi tam giác \( MAB = x + x + AB = 2x + AB \).

2. **Có chu vi tam giác là 18 cm**:

\[
2x + AB = 18 \quad (1)
\]

3. **Áp dụng định lý cos (đối với góc 60°)**: Ta có

\[
AB^2 = MA^2 + MB^2 - 2 \cdot MA \cdot MB \cdot \cos(60^\circ)
\]
\[
AB^2 = x^2 + x^2 - 2 \cdot x \cdot x \cdot \frac{1}{2}
\]
\[
AB^2 = 2x^2 - x^2 = x^2
\]
\[
AB = x
\]

4. **Thay \( AB \) vào biểu thức (1)**:

\[
2x + x = 18
\]
\[
3x = 18 \Rightarrow x = 6
\]

5. **Tính \( AB \)**:

\[
AB = x = 6 \text{ cm}
\]

### Phần b: Chứng minh \( AB < BC \)

1. **Đặt điểm C là hình chiếu của B qua O**: Theo tính chất đối xứng, \( OC = OB \) và \( AB \) là dây nối giữa hai điểm A và B.

2. **Tính độ dài BC**: Ta sử dụng định lý trong tam giác \( MBO \).

3. **Vì \( O \) là tâm của đường tròn, tại điểm A và B, ta có**:

- \( OA = OB = r \) (bán kính đường tròn)
- \( MA = MB = x = 6 \text{ cm} \)

4. **Sử dụng định lý Pytago trong tam giác MAB**: Với \( \angle AMB = 60^\circ \),

\[
MB^2 = MA^2 + AB^2 - 2 \cdot MA \cdot AB \cdot \cos(60^\circ)
\]
\[
6^2 = 6^2 + 6^2 - 2 \cdot 6 \cdot 6 \cdot \frac{1}{2}
\]
\[
36 = 36 + 36 - 36
\]
\[
BC = BO + OC > AB
\]

5. **Kết luận**: Do đó, độ dài \( AB < BC \) và điều này được xác nhận.

### Kết quả
- **Phần a**: Độ dài \( AB = 6 \text{ cm} \)
- **Phần b**: Chứng minh \( AB < BC \) đã hoàn thành.