Là một cụm kiến trúc gồm ngôi chùa và tòa đài xây dựng giữa hồ vuông. Cả cụm có tên là đài Liên Hoa. Đài này lâu nay quen gọi là chùa Một Cột, hình vuông, mỗi bề 3m, mái cong, dựng trên cột đá hình trụ. Cột có đường kính 1,20m; cao 4m (chưa kể phần chìm dưới đất) đỡ một hệ thống những thanh gỗ tạo thành bộ khung sườn kiên cố đỡ cho ngôi đài dựng bên trên khác nào một đóa hoa sen vươn thẳng trên khu ao hình vuông có lan can bằng gạch bao quanh. Từ bên ngoài có lối nhỏ bằng gạch đi qua ao đến một chiếc thang xinh xắn dẫn lên Phật đài. Trên cửa Phật đài có biển đề "Liên Hoa đài" (Đài hoa sen) ghi nhớ sự tích nằm mộng của vua Lý dẫn tới việc xây chùa.
Sử chép "Lý Thái Tông (1028 - 1054) chiêm bao thấy Phật Quan Âm ngồi trên tòa sen, vua cũng được dắt lên đó. Khi tỉnh giấc vua đem việc ấy hỏi các quan. Có người khuyên vua làm chùa, dựng cột đá ở giữa ao, làm toà sen của Phật đặt trên cột như đã thấy trong mộng. Cho các sư chạy đàn, tụng kinh cầu cho vua sống lâu, vì thế gọi là chùa Diên Hựu (kéo dài cõi phúc)".
Việc dựng chùa và đài hoa sen tiến hành vào năm 1049. Chưa rõ ngôi chùa như thế nào, chứ qui mô Liên Hoa Đài thì một tấm bia cổ ngay từ đời Lý đã ghi "...Đào hồ Linh Chiếu, giữa hồ vọt lên một cột đá đỉnh cột nở đóa hoa sen nghìn cánh, trên sen dựng tòa điện màu xanh. Trong điện đặt pho tượng Quan Âm. Vòng quanh hồ là dãy hành lang. Lại đào ao Bích Trì, mỗi bên đều bắc cầu vòng để đi qua. Phía sân cầu đằng trước, hai bên tả hữu xây tháp lưu ly" (Bia chùa Đọi ở huyện Duy Tiên, tỉnh Hà Nam).
Như vậy, Liên Hoa Đài thời Lý lớn hơn ngày nay nhiều, cả những bộ phận hợp thành và hình dáng cũng phong phú hơn.Trong thực tế, cụm chùa Một Cột đã qua nhiều lần sửa chữa. Ngày 11-9-1954, trước khi rút khỏi Hà Nội tạm chiếm, quân đội thực dân Pháp đã cho nổ mìn phá huỷ Liên Hoa Đài.
