Энтропия и производительность дискретного источника сообщений

МПС СССР

ВСЕСОЮЗНЫЙ ЗАОЧНЫЙ ИНСТИТУТ

ИНЖЕНЕРОВ ЖЕЛЕЗНОДОРОЖНОГО ТРАНСПОРТА

Одобрено кафедрой Автоматики,

Телемеханики

И связи

Теоретические основы транспортной связи

Задание на контрольную работу N 1 с методическими указаниями для студентов 1Y курса

Специальности

А втоматика, телемеханика и связь на железнодорожном транспорте

Москва-1987

Общие указания

Дисциплина «Теоретические основы транспортной связи» ставит задачей рассмотреть вопросы преобразования сообщений и сигналов и дать количественную оценку качества работы системы транспортной связи, независимо от их технического назначения и физической природы передаваемых сообщений.

Для успешной творческой работы в области производства и эксплуатации средств железнодорожной телемеханики и связи современный инженер должен быть в достаточной степени знаком с теоретическими основами транспортной связи, позволяющими, не прибегать к дорогостоящим экспериментам, установить при помощи расчетов количественную основу для поиска оптимальных решений в инженерной практике. Даже когда в силу определенных особенностей решаемой задачи более целесообразным оказывается экспериментальный подход, знание принципов, лежащих в основе предмета, позволит выбрать оптимальные направления проводимых экспериментов и дать количественную оценку полученных результатов.

Предмет устанавливает количественные характеристики информации, формирует условия согласования источников информации с каналами связи, определяет информационные параметры каналов связи, развивает идеи о применении кодирования для повышения помехоустойчивости передачи по каналам связи шумами, рассматривает вопросы построения оптимальных кодов для передачи информации при отсутствии помех в каналах связи.

Работу по изучению дисциплины «Теоретические основы транспортной связи» следует начинать с подбора литературы, рекомендованной программой. Затем можно приступить к изучению соответствующих разделов курса и выполнению контрольной работы, состоящей из трех задач.

Каждый студент выполняет контрольную работу в соответствии с индивидуальным заданием. Номер варианта выбирается по шифру студента.

Задание на контрольную работу и методические указания к решению задач

Задача 1

Количественное определение информации.

Энтропия и производительность дискретного источника сообщений

Количество информации I (a_i), содержащееся в символе a_i, выбираемом из ансамбля { a_i } (i=1,2,3,…,K), где К – объем алфавита, с вероятностью P(α_i), причем P(α_i) = 1, определяется по формуле

I (α_i) = -Iog₂ P (α_i).

Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации.

Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации – это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов.

Средне количество информации Н(А), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита К, можно найти как математическое ожидание дискретной случайной величины I (α_i), определяющей количество информации, содержащейся в одном случайно выбранном символе (знаке) (α_i).

H(A) = M{I(a_i)} = - .

Эта величина называется энтропией источника независимых сообщений.

Одной из информационных характеристик дискретного источника является избыточность

p _u= 1 -

Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов.

Если источник без памяти, т.е. последовательно передаваемые символы независимы, все символы равновероятны P(α_i) = 1/K, то Н(А) и избыточность p_и=0.

Если в единицу времени источник выдает в среднем υ_и символов (скорость источника υ_и), то среднее количество информации, создаваемой источником в единицу времени,

H´(A) = υ_и H(A) = H(A),

Где Т_ср – средняя длительность одного символа.

Характеристику H´(A) называют производительностью дискретного источника. Источник называется стационарным, если описывающие его вероятностные характеристики не меняются во времени.

1. Источник сообщений выдает символы из ансамбля А={α_i} (где i = 1,2,,3,4,5) с вероятностями, представленными в табл.1 в зависимости от последней цифры шифра.

Таблица 1

Параметр	Последняя цифра шифра
P(α1)	0,2	0,3	0,25	0,15	0,1	0,2	0,45	0,15	0,2	0,05
P(α2)	0,3	0,2	0,35	0,2	0,45	0,25	0,15	0,4	0,11	0,45
P(α3)	0,25	0,15	0,1	0,3	0,25	0,35	0,2	0,1	0,45	0,25
P(α4)	0,15	0,1	0,1	0,15	0,1	0,05	0,15	0,15	0,05	0,15
P(α5)	0,1	0,25	0,2	0,2	0,1	0,15	0,05	0,2	0,3	0,1

Найти количество информации, содержащейся в каждом из символов источника при их независимом выборе (источник без памяти).

Вычислить энтропию и избыточность заданного источника, используя прил.1,2.

2. Показать, что при равных объемах алфавитов К, энтропия Н(А) имеет максимальное значение Н_макс(А) = Iog₂K при равновероятных символах.

3. Описать физические характеристики дискретных каналов и сигналов, а также процесс преобразования дискретных сообщений в электрические сигналы.