Để giải quyết bài toán này, chúng ta sẽ lần lượt làm từng phần từ a đến d.

### a) Bán kính đường tròn ngoài tiếp tam giác ABM.

Bán kính \( R \) của đường tròn ngoài tiếp tam giác được tính bằng công thức:
\[
R = \frac{abc}{4S}
\]
trong đó \( a, b, c \) là độ dài ba cạnh của tam giác và \( S \) là diện tích của tam giác.

Cạnh \( AB = 3 \), cần tìm độ dài \( AM \) và \( BM \):
- Gọi \( x = AM \) và \( BM = \frac{BC}{2} = \frac{8}{2} = 4 \).

Diện tích \( S \) của tam giác \( ABM \) có thể được tính bằng công thức:
\[
S = \frac{1}{2} \cdot AB \cdot AM \cdot \sin \angle AMB
\]
Ta có \( \cos \angle AMB = \frac{5\sqrt{13}}{26} \), do đó có thể tính \( \sin \angle AMB \) bằng cách sử dụng:
\[
\sin^2 \angle AMB + \cos^2 \angle AMB = 1
\]
Giải quyết để tìm giá trị \( \sin \angle AMB \).

### b) Giá trị \( \cos \angle AMC \).

Để tìm \( \cos \angle AMC \), ta có thể sử dụng định lý cosin trong tam giác \( AMC \). Các cạnh của tam giác cần biết:
- Biết \( AM = x \),
- \( MC = \frac{BC}{2} = 4 \),
- \( AC \) là cạnh chưa biết.

Áp dụng định lý cosin:
\[
AC^2 = AM^2 + MC^2 - 2 \cdot AM \cdot MC \cdot \cos \angle AMC
\]

### c) Độ dài đoạn AM.

Khi biết các cạnh và \( R \), có thể áp dụng công thức bán kính \( R = \frac{abc}{4S} \) để tính giá trị cụ thể cho \( AM \).

### d) Khi số đo góc A nhọn và lớn nhất trong ba đỉnh của tam giác ABC thì độ dài cạnh AC = 7.

Dựa trên các điều kiện và thông tin đã cung cấp, ta cần kiểm tra các trường hợp và tính toán các góc để xác định tính chất của tam giác.

Dựa trên dữ liệu đã cho và việc áp dụng các định nghĩa và công thức liên quan, có thể tìm ra các giá trị yêu cầu trong bài toán.