2015-05-15
1437
Статистический подход изучается в разделе кибернетики, который называется теорией информации, разработан К.Шенноном в 1948 году.
Согласно Шеннону:
Энтропия Н – это неопределенность системы, выраженная количественно. Если энтропия Н =0, то о системе имеется полная информация, если Н =1 – то у системы полная неопределенность, о ней неизвестно ничего.
Количество информации I – мера неопределенности, снимаемая при получении информации. Если до получения информации о системе Х неопределенность (ее энтропия) составляла Н(х) (априорно, до опыта), а после получения количества информации о системе I(х) неопределенность системы стала Н'(х), то количество информации равно разности априорной (доопытной) энтропии и энтропии после получения сообщения (апостериорной):
I(х) = Н(х) - Н'(х)
Таким образом, количество информации измеряется уменьшением неопределенности системы Х от Н(х) до 0, а не увеличением знания о ней. Количество полученной информации I(х) показывает не то, насколько увеличилось знание о системе, а то, насколько уменьшилось её незнание.В этом заключается сложность понимания энтропийного подхода к оценке информации.
|
|
|
Если после получения информации неопределенность системы стала равна нулю, т.е. Н'(х) = 0, это означает, что было получено количество информации, равное Н(х), т.е. было получено количество информации, равное энтропии системы:
I(х) = H(х)
Если система Х имеет дискретные состояние (переходит из одного в другое скачком), количество состояний системы равно N, а вероятности нахождения в каждом из них равны P1, P2, P3,…, PN, причем, 
, то, согласно теореме Шеннона, энтропия системы:
где К и а определяют систему единиц измерения I(х):
К = 1, а = 10, т.е. 
- единица измерения [дит];
К =1/lg2=3,32, а = 2, т.е. 
-единица измерения [бит];
К =1/lg e =2,3, а = e, т.е. 
- единица измерения [нит];
Знак “–“ ставится для того, чтобы значение Н(х) было положительным, т.к. Pi<1 и ее логарифм log Pi становится отрицательным.
Если все состояния системы Х равновероятны, т.е. Pi=1/N, то:
Свойства энтропии Н:
1. Энтропия Н = 0, когда одна вероятность из Рi = 1, (т.е достоверна), тогда остальные Рi =0, т.к. Н= -к∙1∙ log 1=0 (log 1=0)
2. Энтропия Н – максимальна и равна –k∙logaN, когда все состояния равновероятны.
