Энтропия как мера неопределенности физической системы

Сведения являющиеся объектом хранения, передачи и преобразования, называются информацией. Мера измерения количества информации основана на понятии энтропии. Энтропия - это мера степени неопределенности состоянии системы Х (случайной величины) с конечным или счетным числом исходов.

Что означает неопределенность и как ее измерить?

Пример. Пусть имеются две системы: первая система – игральная кость (имеет 6 состояний), вторая система – монета (имеет 2 состояния).

Спрашивается: состояние какой системы труднее предугадать (неопределенность какой системы больше)? Естественно неопределенность первой системы выше. Значит, степень неопределенности системы зависит от числа возможных ее состояний. Однако число состояний не является исчерпывающей характеристикой степени неопределенности.

Покажем это на примере для систем с двумя устойчивыми состояниями. Пусть имеются 2 монеты М₁ и М₂ (у монеты имеется два возможных состояния: орёл 0 и решка Р):

М1		Р		М2		Р
Рi	0,5	0,5		Рi	0,999	0,001

Р_i – вероятности нахождения монет в состоянии орел или решка.

Нетрудно заметить, что неопределённость этих двух систем будет различной. Неопределенность первой системы больше, так как из таблицы видно, что вторая монета практически постоянно находится в состоянии орел. Первая же монета неизвестно в каком находится состоянии, она с равной вероятностью может находиться или в состоянии орел или в состоянии решка.

Таким образом, мы видим, что степень неопределенности определяется также и вероятностями состояний системы. В качестве меры априорной неопределенности теория информации предлагает энтропию.

Энтропия по Шеннону равна сумме произведений вероятностей состояний системы на логарифмы этих вероятностей, взятых с обратным знаком:

, (1.1)

где X = (x₁, x₂, … x_i,… x_n) – множество возможных состояний системы X, принимаемых элементами с вероятностями p(x₁), p(x₂),…p(x_i),… p(x_n),

n - число возможных состояний. При этом должно соблюдаться условие нормировки:

В формуле 1.1 основание логарифма может быть двоичным, десятичным или натуральным. Если используется двоичное основание, то оно может быть опущено. При двоичном основании энтропия измеряется в двоичных единицах или битах. Формула (1.1) может быть представлена и в следующем виде:

(1.2)

Энтропия характеризует среднее значение и представляет собой математическое ожидание от -log p, то есть H(X)=M[-log p(x)].

Рассмотрим свойства энтропии:

1. Энтропия есть величина вещественная, ограниченная и неотрицательная: Н≧0.

Это свойство следует из выражения (1.2).

Рассмотрим одно слагаемое - p_klog p_{k .} При изменении p_k от нуля до единицы это положительное вещественное слагаемое изменяется от нуля, достигает максимума при p_{k =} , затем снова спадает до нуля (см.рис.1.1)

Рис.1.1. График зависимости H_k от p_k

В самом деле, устремляя p_k к нулю, получаем

, если произвести замену

то получим следующую формулу: то есть слагаемое обращается в нуль, когда p_k=0. Если p_k=1, то log p_k=0 и слагаемое также равно нулю: -p_klog p_k=0.

Максимальное значение определим из условия:

- log p_ke =0. Отсюда p_k× e =1; Подставим в H_k

Максимальное значение равно 0,531.

2. Энтропия минимальна и равна нулю, если хотя бы одно из состояний системы достоверно известно: H = H_min = 0.

Пусть система имеет три состояния, и вероятности этих состояний будут равны: p₁ = p₂ = 0, p₁ = 1. Тогда

3. Энтропия максимальна и равна логарифму числа состояний, если состояния системы равновероятны:

H=H_max= log n (1.3)

При

4. Энтропия бинарных величин изменяется от 0 до 1.

Пусть p₁=p; p₂=(1-p); Тогда H= - p×log p – (1-p) ×log(1-p);

При

Энтропия равна нулю, когда вероятность одного из состояний равна нулю, затем возрастает и достигает максимума при p=0.5, то есть когда p₁=p₂=0.5. При этом неопределенность сообщений при приеме наибольшая.

Основание логарифма может быть выражено в двоичных, десятичных или натуральных единицах. В случае оценки энтропии в двоичных единицах основание может быть опущено:

Вычисление энтропии можно упростить, если ввести специальную функцию η(p)= , тогда H(x)=Σ η(p).

Для вычисления энтропии с помощью данной функции имеются специально составленные таблицы (см.табл.1 приложения 1).