Để giải bài toán này, chúng ta sẽ sử dụng các công thức cơ bản về vận tốc, quãng đường và thời gian.

Gọi vận tốc của cano trong nước yên là \( v \) km/h. Thời gian để cano đi từ A đến B (theo dòng) sẽ là:

\[
t_1 = \frac{36}{v + 3}
\]

và thời gian để cano đi từ B về A (ngược dòng) sẽ là:

\[
t_2 = \frac{36}{v - 3}
\]

Theo đề bài, tổng thời gian đi từ A đến B và ngược lại là 5 giờ:

\[
t_1 + t_2 = 5
\]

Thay \( t_1 \) và \( t_2 \) vào phương trình:

\[
\frac{36}{v + 3} + \frac{36}{v - 3} = 5
\]

Bây giờ, chúng ta sẽ nhân cả hai vế với \( (v + 3)(v - 3) \) để loại bỏ mẫu:

\[
36(v - 3) + 36(v + 3) = 5(v + 3)(v - 3)
\]

\[
36v - 108 + 36v + 108 = 5(v^2 - 9)
\]

\[
72v = 5v^2 - 45
\]

Chuyển hết về một vế:

\[
5v^2 - 72v - 45 = 0
\]

Áp dụng công thức nghiệm của phương trình bậc hai \( ax^2 + bx + c = 0 \):

\[
v = \frac{-b \pm \sqrt{b^2 - 4ac}}{2a}
\]

Với \( a = 5 \), \( b = -72 \), và \( c = -45 \):

\[
b^2 - 4ac = (-72)^2 - 4 \cdot 5 \cdot (-45) = 5184 + 900 = 6084
\]

Tính nghiệm:

\[
v = \frac{72 \pm \sqrt{6084}}{10}
\]

Biến đổi \( \sqrt{6084} = 78 \), do đó:

\[
v = \frac{72 \pm 78}{10}
\]

Tính hai nghiệm:

1. \( v = \frac{150}{10} = 15 \) km/h
2. \( v = \frac{-6}{10} = -0.6 \) km/h (không hợp lệ)

Vậy vận tốc của cano trong nước yên là \( \boxed{15} \) km/h.