Thời tiền Lê, trên nền thảo am cô tịch, người dân đã xây dựng thành chùa Tảo Sách với ý nghĩa là đọc sách dưới ánh ban mai. Đến thế kỷ XVI, thiền sư Thủy Nguyệt, vị sư tổ đầu tiên của phái Tào Động, truyền thụ đệ tử trụ trì các chùa quanh hồ Tây, chùa Tảo Sách còn có tên gọi là Tào Sách, thuộc Sơn Môn, có tên chữ là Linh Sơn tự.Trên văn bia đài tưởng niệm trong sân chùa hiện còn lưu câu đối: “Đài kỷ niệm thành năm Quý Tỵ (1943)/Chùa Tào Sách sáng và của Tiền Lê”. Trên văn bia tạc thời Bảo Đại có dòng chữ: “Hà Đông tỉnh, Hoàng Long huyện, thượng tổng Nhật Tân xã, Tào Sách tự – tự Tiền Lê chi sử kiến lập”. Trải qua những thăng trầm của lịch sử, phong hóa của thời gian, ngôi chùa có lúc đã xuống cấp và được trùng tu sửa chữa vào các năm: Thành Thái thứ 3 (1891), Bảo Đại Tân Tỵ (1941) và những năm gần đây từ 2005 – 2013.
