Понятие о количестве информации

Количеством информации называют числовую характеристику сигнала (процесса несущего информацию), отражающую ту степень неопределенности (неполноту знаний), которая исчезнет после получения сообщения в виде данного сигнала. Эту меру неопределенности в теории информации называют энтропией.

Если в результате получения сообщения достигается полная ясность, в каком то вопросе, говорят, что была получена полная или исчерпывающая информация и необходимости в получении дополнительной информации нет. И наоборот, если после получения сообщения неопределенность осталась прежней, значит, информации получено не было (нулевая информация).

Эти рассуждения показывают, что между понятиями информация, неопределенность и возможность выбора существует тесная связь. Так любая неопределенность предполагает возможность выбора, а любая информация, уменьшающая неопределенность уменьшает возможность выбора. При полной информации выбора нет. Частичная информация уменьшает число вариантов выбора, сокращая тем самым неопределенность.

Пример 1. (Классический) Человек бросает монету и наблюдает, какой стороной она упадет. Так как обе стороны монеты равноправны и любая сторона может выпасть одинаково вероятно, то такой ситуации приписывается изначальная неопределенность характеризуемая двумя возможностями. После того как монета упадет, достигается полная ясность, и неопределенность исчезает (становится равной нулю). Если сторонний человек, не знающий как упала монета, захочет узнать это, то ему потребуется задать всего один вопрос на который можно получить полный ответ. Этот пример относится к событиям, применительно к которым может быть поставлен вопрос типа «да - нет».

Количество информации, которое можно получить при ответе на вопрос типа «да - нет», называется битом (bit – binary digit – двоичная единица). Бит – минимальная единица количества информации, и получить информацию меньшую, чем 1 бит, невозможно. При получении информации в 1 бит неопределенность уменьшается в 2 раза.

Пример 2. Имеется колода игральных карт для игры в преферанс (отсутствуют все шестерки), т.е. 32 карты. Задумывается одна из карт. Необходимо, задавая вопросы типа «да - нет» угадать задуманную карту.

Первый вопрос: «Задумана карта черной масти?»

Ответ: Например «Нет» уменьшил неопределенность ровно вдвое, и принес отгадывающему 1 бит информации.

Второй вопрос: «Задумана карта бубновой масти?»

Ответ: Например «Да» уменьшил неопределенность еще вдвое, т.е. исходная неопределенность уменьшилась уже в четыре раза, и принес отгадывающему еще 1 бит информации.

Третий вопрос: «Задумана карта - картинка?»

Ответ: Например «Да» уменьшил неопределенность еще вдвое, и принес отгадывающему еще 1 бит информации.

Четвертый вопрос: «Задумана дама или валет?»

Ответ: Например «Нет» уменьшил неопределенность еще вдвое, и принес отгадывающему еще 1 бит информации.

Пятый вопрос: «Задуман туз?»

Ответ: Например «Нет» уменьшил неопределенность еще вдвое, и принес отгадывающему еще 1 пятый бит информации.

Окончательный ответ - задуман король бубновой масти.

Следовательно, чтобы получить полную информацию о любой из задуманных карт, пришлось задать пять вопросов, и каждый ответ давал один бит информации, т.е. в сообщении о любой из задуманных карт будет содержаться пять бит информации.

Число возможных состояний системы, характеризующейся количеством информации в 1 бит, равно двум (орел – орешка).

Число возможных состояний системы, характеризующейся количеством информации в 5 бит, равно 32 (32 карты в колоде).

Связь между количеством информации в сообщении о системе и числом состояний системы (или числом равновероятных событий в системе) устанавливается формулой американского инженера Хартли, предложенной им еще в 28 году ХХ века:

n = log ₂ N или N=2ⁿ, (1)

где n – количество информации в битах;

N - Число возможных состояний системы;

Если все состояния системы равновероятны, то формула Хартли записывается иначе:

I = -log ₂ 1/N

или

I = -log ₂ p

где р – вероятность данного состояния равная 1/N.

И так информация, содержащаяся в сообщении, измеряется количеством бит в этом сообщении. Группа из 8 битов информации называется байтом.

Если бит – минимальная единица информации, то байт основная единица, применяемая в компьютере.

Так как компьютер оперирует информацией в виде данных, т. е. информацией, представленной в формализованном виде и предназначенной для обработки, то эти данные имеют определенный формат, который, конечно же, определяется еще в процессе ее проектирования. Так, например, персональный компьютер имеет определенный формат числовых данных, символьных, видеоизображений, цветовую гамму, звуковые данные.

Формат числовых данных это целые числа и вещественные. От количества байт (бит) информации которые, выделяются для числа, зависит какое максимальное число, мы можем обрабатывать в этом формате.

Так, например:

1 байт (8 бит) может содержать целые числа не более 255;

Из формулы (1) число возможных состояний системы величиной 8 бит (1 байт) N = 2ⁿ = 2⁸ = 256. т. е. один байт может содержать числа от 0 до 255, всего 256 значений (состояний системы).

2 байта (16 бит) могут содержать целые числа не более 65535.

В общем случае максимальное целое число, которое может храниться в компьютере в определенном количестве бит определяется по простой формуле:

N = 2^n-1-1,

где N – целое число со знаком,

n – Количество бит, выделенных под число.

Несколько вопросов для самопроверки:

1. Сколько бит нужно выделить, чтобы задать цвет точки на экране дисплея.

2. Сколько бит необходимо для вывода цветной точки на определенное место экрана дисплея, при условии, что экран имеет размер 800х600 точек, цветовая гамма 16,8 млн. цветов.

3. Сколько бит необходимо для воспроизведения звука, слышимого человеческим ухом.