Xác suất có do tình trạng thiếu thông tin không?
Xác suất có thể được giải thích bằng hai cách. Cách đầu tiên và cụ thể nhất là cách giải thích hậu nghiệm, theo tần số thực hiện sự kiện: khi ta nói rằng xác suất của mặt “xấp” bằng l/2, thì điều đó có nghĩa là khi tung một đồng tiền rất nhiều lần, ta sẽ thu được mặt "xấp'' trong gần 50% lần tung. Nhưng ta cũng có thể hiểu xác suất là một điều phản ánh tình hình thiếu hiểu biết tiên nghiệm mà ta có từ kết quả của một thí nghiệm: nếu không có thông tin nào cho phép chúng ta thiên về một mặt của đồng tiền so với mặt kia, thì chúng ta gán cùng xác suất cho "xấp'' và “ngửa” một cách tiên nghiệm (dù phải thay đổi nó theo các kết quả sau). Về mặt này, người ta đưa ra xác suất như nhau cho các kết quả khả dĩ của một thí nghiệm khi hoàn toàn thiếu thông tin.
Mối quan hệ giữa xác suất và thông tin còn đi xa hơn. Đó là điều mà nhà khoa học Mỹ Claude Shannon đã làm trong những năm 1940. Ông đã đưa ra một biểu thức toán học cho thông tin, trong đó xác suất và logarit[1] của xác suất tham gia vào. Ví dụ, trong trò chơi xấp hay ngửa có xác suất tiên nghiệm là p1 và p2 (trong ăn không nhau thiết đối xứng), sự thiếu thông tin là - (p1logp1 + p2logp2). Người ta chứng minh rằng biểu thức này là cực đại khi p1 – p2 = 1/2 điều này phù hợp với điều đã nói ở trên (không có thông ưu tiên nghiệm nào nếu các xác suất bằng nhau). Khái niệm thông tin của Shannon tỏ ra có ích trong nhiều lĩnh vực, đặc biệt trong xử lý tín hiệu. Ngoài ra, biểu thức thiếu thông tin giống hệt như biểu thức entropi[2] thống kê trong vật lý và là một phép đo sự hỗn độn.
