Энтропия и производительность

Энтропия – это средняя информативность источника на один символ, определяющая «неожиданность» или «непредсказуемость» выдаваемых им сообщений. Полностью детерминированный источник, выдающий лишь одну, заранее известную последовательность, обладает нулевой информативностью. Наоборот, наиболее «хаотический» источник, выдающий взаимно независимые и равновероятные символы, обладает максимальной информативностью.

Для источника, не обладающего памятью с алфавитом А энтропия записывается следующим образом:

(16)

где – объем алфавита, , -вероятности выдачи источником символов , причем они не зависят от номера элемента последовательности, т.к. источник является стационарным.

Для прямоугольного распределения ПВ

Мы видим, что не зависит от .

Тогда энтропия будет определяться как энтропия дискретного источника независимых сообщений, все символы которого равновероятны:

бит/сим

Если источник сообщения имеет фиксированную скорость символ/с, то производительность источника можно определить, как энтропию в единицу времени, (секунду):

(17)

(бит/с)=0,3 (Мбит/с)

Кодер

В кодере процесс кодирования осуществляется в два этапа. На 1-ом этапе производится примитивное кодирование каждого уровня квантованного сообщения -разрядным двоичным кодом. На 2-ом этапе к полученной -разрядной двоичной кодовой комбинации добавляется один проверочный символ, формируемый простым суммированием по модулю 2 всех информационных символов. В результате этих преобразований на выходе кодера образуется синхронная двоичная случайная последовательность (синхронный случайный телеграфный сигнал), состоящая из последовательности биполярных импульсов единичной высоты, причем положительные импульсы в ней соответствуют единичным символам кодовой комбинации, а отрицательные - нулевым.

Требуется:

1. Определить минимальное значение к, необходимое для кодирования всех уровней квантованного сообщения .

2. Определить избыточность кода с одной проверкой на четность .

3. Записать двоичную кодовую комбинацию, соответствующую передаче -го уровня, считая, что при примитивном кодировании на 1-м этапе -му уровню ставится в соответствие двоичная кодовая комбинация, представляющая собой запись числа в двоичной системе.