Статистическое количество информации

Шенноном была предложена формула для вычисления среднего количества информации, содержащейся в некоторой совокупности сообщений , если известны вероятности появления этих сообщений :

.

Определяемую этой формулой величину можно рассматривать как математическое ожидание количества информации, получаемого при передаче сообщений из данного множества. Величину называют собственной информацией сообщения .

Пример. Будем считать, что сообщения о поле будущего ребенка мальчик или девочка являются равновероятными. (По статистике частота для мальчиков примерно 0.52, для девочек 0.48.) Количество информации, получаемой с таким сообщением, равно 1 бит.

Вероятности сообщений (о рождении одного ребенка) или (рождении двойни) примерно равны 127/128 и 1/128 соответственно. Собственная информация этих сообщений: . Количество информации по формуле Шеннона

Клод Элвуд Шеннон (англ. Claude Elwood Shannon; 30 апреля 1916 — 24 февраля 2001) —основатель математической теории информации; предопределил развитие общей теории дискретных автоматов — важного направления кибернетикию

В 1936 г. Клод оканчивает Мичиганский университет, получив степень бакалавра по двум специальностям математика и электротехника

В период с 1941 по 1956 гг. Шеннон преподает в Мичиганском университете и работает в компании Белл (Bell Labs).

1948 год – в работе A Mathematical Theory of Communication сформулировал основы теории информации

1949 год ‑ в работе Communication Theory of Secrecy Systems cформулировал математические основы криптографии.

С 1956 г. ‑ член Национальной академии наук США и Американской академии искусств и наук.

Справка. Лаборатории Белла, названные в честь Александра Грэма Белла, одного из изобретателей телефонного аппарата, были основаны в 1925 г. в Нью-Йорке. Компания Bell Labs до 1995 года входила в американскую корпорацию AT&T В 1996 г. Bell Labs вошли в состав фирмы Lucent Technologies, а в 2006 г. стали собственностью Alcatel-Lucent. Лаборатории Белла в настоящий момент включают около 1000 исследователей по всему миру с бюджетом около 2 миллиардов долларов США.

Bell Labs известна своими многочисленными разработками в сфере связи и ряде других современных технологий, в том числе такими эпохальными, как изобретение транзистора (1947 год) и разработка операционной системы UNIX.