Синтаксическая мера информации. Формулы Шеннона и Хартли

ЛЕКЦИЯ №4

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данных V_д в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:

· в двоичной системе счисления единица измерения — бит (bit — binary digit — двоичный разряд);

· в десятичной системе счисления единица измерения — дит (десятичный разряд).

Количество информации на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе а. Мерой его неосведомленности о системе является функция H(а), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию H_β(а), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы стала I_β(а).

Тогда количество информации I_β(а) о системе, полученной в сообщении β, определится как

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Энтропия системы Н(а), имеющая N возможных состояний, которая может рассматриваться, как мера недостающей информации, согласно формуле Шеннона, равна:

где P_i — вероятность того, что система находится в i-м состоянии.

Позиционные системы счисления при кодировании информации

Система счисления - способ записи (изображения) чисел. Символы, при помощи которых записывается число, называются цифрами.

Системы счисления, в которых количественный эквивалент каждой цифры зависит от ее положения (позиции) в коде (записи) числа, называются позиционными.

Основанием позиционной системы счисления называется количество знаков или символов, используемых для изображения числа в данной системе счисления.

Базисом позиционной системы счисления называется последовательность чисел, каждое из которых задает количественное значение или "вес" каждого разряда. Базисы некоторых позиционных систем счисления:

· Десятичная система: 10⁰, 10¹, 10², 10³, 10⁴,..., 10ⁿ

· Двоичная система: 2⁰, 2¹, 2², 2³, 2⁴,..., 2ⁿ

· Восьмеричная система: 8⁰, 8¹, 8², 8³, 8⁴,..., 8ⁿ

Совокупность различных цифр, используемых в позиционной системе счисления для записи чисел, называется алфавитом системы счисления. Количество цифр в алфавите равно основанию системы счисления. Алфавиты некоторых позиционных систем счисления:

· Десятичная система: {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}

· Двоичная система: {0, 1}

· Восьмеричная система: {0, 1, 2, 3, 4, 5, 6, 7}

· Шестнадцатеричная система: {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F}