Tương truyền, xưa kia có 1 nhà sư tên là Lê Ban đến hang đá phía Đông của núi Bà để tu và dựng một am tên chùa Dũng Tuyền. Do tấm lòng từ bi, chuyên hái thuốc chữa bệnh cứu người miễn phí nên người dân rất kính trọng và gọi là Ông Núi.

Đến năm 1733, vì mến mộ đức độ của ông nên chú Nguyễn Phúc Chu đã ban cho ông hiệu là Tịnh Giác Thiện Trì đại lão thiền sư đồng thời trùng tu lại chùa rộng lớn hơn và đặt tên là Linh Phong thiền tự.

Tuy nhiên, đến năm 1967, do sự khốc liệt của bom đạn chiến tranh, ngôi chùa đã bị phá hủy nằng nề gần như bị xóa sạch dấu tích, đến tận năm 1990 mới được khởi công xây dựng, phục hồi lại trong 14 năm mới hoàn thành và được công nhận là di tích lịch sử - văn hóa cấp Quốc gia.