Gọi số lượng người ban đầu trong nhóm là \( n \). Số tiền mỗi người góp ban đầu sẽ là:

\[
\frac{180}{n} \text{ triệu đồng.}
\]

Khi có thêm 3 người tham gia, số lượng người sẽ là \( n + 3 \). Lúc này, số tiền mỗi người góp sẽ là:

\[
\frac{180}{n + 3} \text{ triệu đồng.}
\]

Theo đề bài, số tiền mỗi người góp giảm đi 3 triệu đồng:

\[
\frac{180}{n} - \frac{180}{n + 3} = 3.
\]

Giải phương trình này, ta bắt đầu bằng cách đưa các số hạng về cùng một mẫu:

\[
\frac{180(n + 3) - 180n}{n(n + 3)} = 3.
\]

Rút gọn các số hạng:

\[
\frac{540}{n(n + 3)} = 3.
\]

Nhân chéo để loại bỏ mẫu:

\[
540 = 3n(n + 3).
\]

Chia cả hai bên cho 3:

\[
180 = n(n + 3).
\]

Giải phương trình bậc hai này:

\[
n^2 + 3n - 180 = 0.
\]

Sử dụng công thức nghiệm của phương trình bậc hai \( n = \frac{-b \pm \sqrt{b^2 - 4ac}}{2a} \):

Ở đây, \( a = 1 \), \( b = 3 \), \( c = -180 \):

\[
n = \frac{-3 \pm \sqrt{3^2 - 4 \cdot 1 \cdot (-180)}}{2 \cdot 1} = \frac{-3 \pm \sqrt{9 + 720}}{2} = \frac{-3 \pm \sqrt{729}}{2} = \frac{-3 \pm 27}{2}.
\]

Tính hai nghiệm:

1. \( n = \frac{24}{2} = 12 \).
2. \( n = \frac{-30}{2} = -15 \) (không hợp lệ vì số người không thể âm).

Vậy số lượng người ban đầu trong nhóm là \( n = 12 \).

**Kết luận:** Nhóm bạn trẻ đó có 12 người.