Đến thăm đền Ngọc Sơn, hình tượng kiến trúc đầu tiên gây ấn tượng là Tháp Bút, Đài Nghiên. Tháp Bút dựng trên núi Ngọc Bội, đỉnh tháp có ngọn bút trỏ lên trời xanh, trên mình tháp là ba chữ "tả thanh thiên" (viết lên trời xanh) đầy kiêu hãnh. Cạnh Tháp Bút là cổng đài Đài Nghiên. Gọi là " Đài Nghiên" bởi cổng này là hình tượng "cái đài" đỡ "nghiên mực" hình trái đào tạc bằng đá, đặt trên đầu ba chú ếch với thâm ý sâu xa "ao nghiên, ruộng chữ". Phía sau Đài Nghiên là cầu Thê Húc nối sang Đảo Ngọc - nơi tọa lạc ngôi đền thiêng giữa rì rào sóng nước.