Chùa Tượng Sơn tọa lạc nơi phong cảnh hữu tình, phía trước chùa là sông Ngàn Phố, phía sau chùa là dãy núi Voi nên chùa có tên là Tượng Sơn tự (chùa Núi Voi) tạo cho ngôi chùa nét u tịch, thanh bình. Phía Tây chùa có dòng suối bắt nguồn từ dãy Đại Huệ, băng qua ghềnh đá, ngày đêm nước chảy ầm ầm nên chùa có tên nôm là chùa Ầm Ầm.