Đền được xây dựng trên đảo Ngọc, trong hồ Hoàn Kiếm cùng với Tháp Bút, Đài Nghiên, cầu Thê Húc (cầu đậu nắng ban mai), lầu Đắc Nguyệt (lầu được trăng), đình Trấn Ba (đình chắn sóng) và đền chính hợp thành cụm di tích lịch sử kiến trúc - nghệ thuật và danh lam, thắng cảnh tiêu biểu của thủ đô.
Đảo Ngọc Sơn xưa được gọi là Tượng Nhĩ (tai voi), vua Lý Thái Tổ dời đô ra Thăng Long đặt tên là Ngọc Tượng, đến thời Trần đổi thành Ngọc Sơn. Truyền thuyết kể rằng, ở gò trong hồ đá, có các tiên nữ thường về đây múa hát. Thời vua Lê, Chúa Trịnh xây cung Khánh Thụy ở Ngọc Sơn làm nơi vui chơi. Cuối thời Lê, xây chùa Ngọc Sơn thờ Phật. Đến thời Nguyễn, chuyển thành đền thờ Văn Xương - Đế Quân, rồi lại phối thờ Lã Động Tân, Quan Đế (tức Quan Vân Trường), phật A Di Đà và đặc biệt là tướng quân Trần Hưng Đạo. Điều này thể hiện quan niệm Tam giáo đồng nguyên của người Việt.Năm Tự Đức thứ mười tám (1865), nhà nho Nguyễn Văn Siêu đứng ra tu bổ lại đền. Đền mới sửa đắp thêm đất và xây kè đá chung quanh, xây đình Trấn Ba, bắc một cầu từ bờ đông đi vào gọi là cầu Thê Húc.Trên núi Độc Tôn cũ, ông cho xây một tháp đá, đỉnh tháp hình ngọn bút lông, thân tháp có khắc ba chữ "Tả Thanh Thiên" (viết lên trời xanh), ngày nay thường gọi đó là Tháp Bút. Tiếp đến là một cửa cuốn gọi là Đài Nghiên, trên có đặt một cái nghiên mực bằng đá hình nửa quả đào bổ đôi theo chiều dọc, có hình ba con ếch đội. Trên nghiên có khắc một bài minh nói về công dụng của cái nghiên mực xét về phương diện triết học. Người đời sau ca ngợi là: Nhất đài Phương Đình bút.Từ cổng ngoài đi vào có hai bức tường hai bên, một bên là bảng rồng, một bên là bảng hổ, tượng trưng cho hai bảng cao quý nêu tên những người thi đỗ, khiến cho các sĩ tử đi qua càng gắng công học hành.Tên cầu Thê Húc nghĩa là giữ lại ánh sáng đẹp của mặt trời. Cầu Thê Húc dẫn đến cổng đền Ngọc Sơn, còn gọi là Đắc Nguyệt Lâu (lầu được trăng) dưới bóng cây đa cổ thụ, ở giữa một vùng cây cối um tùm, trông như từ dưới nước nhô lên.Đền chính gồm hai ngôi nối liền nhau, ngôi đền thứ nhất về phía bắc thờ Trần Hưng Đạo và Văn Xương. Tượng đặt ở hậu cung trên bệ đá cao khoảng 1m, hai bên có hai cầu thang bằng đá. Tượng Văn Xương đứng, tay cầm bút. Phía nam có đình Trấn Ba (đình chắn sóng - ngụ ý là cột trụ đứng vững giữa làn sóng không lành mạnh trong nền văn hoá đương thời). Đình hình vuông có tám mái, mái hai tầng có tám cột chống đỡ, bốn cột ngoài bằng đá, bốn cột trong bằng gỗ.Tuy là một ngôi đền kiến trúc mới, song đền Ngọc Sơn là một điển hình về không gian và tạo tác kiến trúc. Sự kết hợp giữa đền và hồ đã tạo thành một tổng thể kiến trúc Thiên - Nhân hợp nhất, tạo vẻ đẹp cổ kính, hài hoà, đăng đối cho đền và hồ, gợi nên những cảm giác chan hoà giữa con người và thiên nhiên. Đền và hồ đã trở thành những chứng tích gợi lại những hoài niệm về lịch sử dân tộc, thức tỉnh niềm tự hào chính đáng, lòng yêu nước, cũng như tâm linh, ý thức mỗi người Việt Nam trước sự trường tồn của dân tộc
