Синтаксическая мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.
Объем данных V д в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных:
· в двоичной системе счисления единица измерения — бит ( bit — binary digit — двоичный разряд);
· в десятичной системе счисления единица измерения — дит (десятичный разряд).
Пример. Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных V д = 8 бит.
Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет объем данных V д = 6 дит.
Количество информации определяется по формуле:
где H (α) – энтропия, т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.
Энтропия системы Н (α), имеющая N возможных состояний, согласно формуле Шеннона, равна:
где pi – вероятность того, что система находится в i -м состоянии.
|
|
Для случая, когда все состояния системы равновероятны, ее энтропия определяется соотношением
где N – число всевозможных отображаемых состояний;
m – основание системы счисления (разнообразие символов, применяемых в алфавите);
n – число разрядов (символов) в сообщении.