Để tính bán kính \( R \) của đường tròn ngoại tiếp tam giác \( ABC \), ta sử dụng công thức:

\[
R = \frac{abc}{4S}
\]

Trong đó:
- \( a, b, c \) là độ dài các cạnh của tam giác,
- \( S \) là diện tích của tam giác.

Trước hết, ta cần tính cạnh \( BC \) bằng định lý cosin:

\[
BC^2 = AB^2 + AC^2 - 2 \cdot AB \cdot AC \cdot \cos(A)
\]

Thay số vào:

\[
BC^2 = 5^2 + 8^2 - 2 \cdot 5 \cdot 8 \cdot \cos(60^\circ)
\]

\[
\cos(60^\circ) = \frac{1}{2}
\]

Vậy:

\[
BC^2 = 25 + 64 - 2 \cdot 5 \cdot 8 \cdot \frac{1}{2}
\]
\[
= 25 + 64 - 40
\]
\[
= 49
\]

Do đó, \( BC = 7 \).

Bây giờ ta có độ dài ba cạnh:

- \( a = 7 \)
- \( b = 8 \)
- \( c = 5 \)

Tiếp theo, chúng ta tính diện tích \( S \) của tam giác bằng công thức Heron:

\[
S = \sqrt{s(s-a)(s-b)(s-c)}
\]

Trong đó \( s \) là nửa chu vi:

\[
s = \frac{a+b+c}{2} = \frac{7 + 8 + 5}{2} = 10
\]

Vậy:

\[
S = \sqrt{10(10-7)(10-8)(10-5)} = \sqrt{10 \cdot 3 \cdot 2 \cdot 5} = \sqrt{300} = 10\sqrt{3}
\]

Cuối cùng, thay vào công thức tính bán kính \( R \):

\[
R = \frac{abc}{4S} = \frac{7 \cdot 8 \cdot 5}{4 \cdot 10 \sqrt{3}}
\]

Tính toán:

\[
R = \frac{280}{40\sqrt{3}} = \frac{7}{\sqrt{3}} = \frac{7\sqrt{3}}{3}
\]

Vậy bán kính \( R \) của đường tròn ngoại tiếp tam giác \( ABC \) là:

\[
R = \frac{7\sqrt{3}}{3}
\]