Энтропия и производительность дискретных источников сообщений

1 2 3 4 5 6 7

КОЛИЧЕСТВЕННЫЕ ХАРАКТЕРИСТИКИ

ПРИ ПЕРЕДАЧЕ СИГНАЛОВ И ИНФОРМАЦИИ

ЗАДАНИЕ И МЕТОДИЧЕСКИЕ УКАЗАНИЯ

к выполнению курсовой работы по дисциплине

«Теория передачи сигналов»

для студентов 3 курса очной формы обучения

специальности:

23.05.05 – «Системы обеспечения движения поездов»

специализаций:

1 – «Электроснабжение железных дорог»

2 – «Автоматика и телемеханика на железнодорожном транспорте»

3 – «Телекоммуникационные системы и сети железнодорожного транспорта»

4 – «Радиотехнические системы на железнодорожном транспорте»

ИРКУТСК 2016

УДК 656.21

ББК 39.213

П 88

Составители:

В.М. Бардаков, д-р физ.-мат. наук, профессор кафедры «Автоматика,

телемеханика и связь»;

В.А. Григоров, канд. физ.-мат. наук, доцент кафедры «Автоматика,

телемеханика и связь»;

Рецензенты:

Н.А. Строкин, д-р физ.-мат. наук, профессор кафедры «Радиоэлектроника и телекоммуникационные системы» (ИРНИТУ);

Е.Г. Солдатенков, главный инженер службы автоматики и телемеханики

Восточно-Сибирской дирекции инфраструктуры

П 88

Количественные характеристики при передаче сигналов и информации: Задание и методические указания к выполнению

курсовой работы / сост. В.М. Бардаков, В.А. Григоров – Иркутск: ИрГУПС, 2016. – 27 с.

На примере конкретных задач рассмотрены методы количественных оценок важных характеристик систем передачи сигналов: количество информации дискретных источников, спектров информационных сигналов, отношения сигнал-шум на выходе различных цепей, статистических характеристик гауссовского случайного сигнала и вероятности ошибки при различении информационных сигналов на фоне помех. Этими методами предлагается воспользоваться для выполнения конкретных заданий по курсовой работе.

Курсовая работа предназначена для выполнения студентами очной формы обучения специальности 23.05.05 – «Системы обеспечения движения поездов» с целью закрепления теоретических знаний и приобретения практических навыков в получении количественных характеристик систем передачи информации.

Ил. 3. Табл. 16. Библиограф: 1 назв.

УДК 656.21

ББК 39.213

университет путей сообщения», 2016

Предисловие

Дисциплина «Теория передачи сигналов» ориентирована рассматривать вопросы преобразования сообщений и сигналов и давать количественную оценку качества работы системы транспортной связи, независимо от их технического назначения и физической природы передаваемых сообщений.

Для успешной творческой работы в области производства и эксплуатации средств железнодорожной телемеханики и связи современный инженер должен быть в достаточной степени знаком с теоретическими основами передачи сигналов, позволяющими, не прибегать к дорогостоящим экспериментам, установить при помощи расчетов количественную основу для поиска оптимальных решений в инженерной практике. Даже когда в силу определенных особенностей решаемой задачи более целесообразным оказывается экспериментальный подход, знание принципов, лежащих в основе предмета, позволит выбрать оптимальные направления проводимых экспериментов и дать количественную оценку полученных результатов.

Предмет устанавливает количественные характеристики информации, формирует условия согласования источников информации с каналами связи, определяет количественные параметры информационных сигналов и каналов связи, знакомит с идеями помехоустойчивого кодирования, рассматривает вопросы построения оптимальных приемников при различении информационных сигналов на фоне помех.

Работу по изучению дисциплины «Теория передачи сигналов» следует начинать с подбора литературы, рекомендованной программой. Затем можно приступить к изучению соответствующих разделов курса и выполнению курсовой работы, состоящей из семи задач, ориентированных на использование знаний и навыков практически всех основных разделов курса «Теория передачи сигналов».

В рамках каждой задачи существует набор индивидуальных заданий. Каждый студент выполняет курсовую работу в соответствии с этими индивидуальными заданиями. Номера вариантов заданий выбираются по цифрам номера зачетки студента.

Формулировка задач, методические указания по решению задач и варианты индивидуальных заданий

Задача 1

Энтропия и производительность дискретных источников сообщений.

Количество информации I (a_i), содержащееся в символе a_i, выбираемом из ансамбля {a_i} (i=1,2,3,…,K), где К – объем алфавита, с вероятностью P(α_i), причем P(α_i) = 1, определяется по формуле

I (α_i) = -Log₂ P (α_i).

Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации.

Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации – это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов.

Средне количество информации Н(А), величины I (α_i), определяющей количество информации, содержащейся в одном случайно выбранном символе (знаке) (α_i), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита К, можно найти как математическое ожидание дискретной случайной

H(A) = M{I(a_i)} = - .

Эта величина называется энтропией источника независимых сообщений.

Одной из информационных характеристик дискретного источника является избыточность

p_u= 1 -

Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов.

Если источник без памяти, т.е. последовательно передаваемые символы независимы, все символы равновероятны P(α_i) = 1/K, то Н(А) и избыточность p_и=0.

Если в единицу времени источник выдает в среднем υ_и символов (скорость источника υ_и), то среднее количество информации, создаваемой источником в единицу времени,

H´(A) = υ_и H(A) = H(A),

где Т_ср – средняя длительность одного символа.

Характеристику H´(A) называют производительностью дискретного источника. Источник называется стационарным, если описывающие его вероятностные характеристики не меняются во времени.

Формулировка задачи

Источник сообщений выдает символы из ансамбля А={α_i} (где i = 1,2,,3,4,5) с вероятностями, представленными в табл.1 в зависимости от последней цифры номера зачетки.

Таблица 1

Параметр	Последняя цифра
Параметр	1	2	3	4	5	6	7	8	9	0
P(α₁)	0,2	0,3	0,25	0,15	0,1	0,2	0,45	0,15	0,2	0,05
P(α₂)	0,3	0,2	0,35	0,2	0,45	0,25	0,15	0,4	0,11	0,45
P(α₃)	0,25	0,15	0,1	0,3	0,25	0,35	0,2	0,1	0,45	0,25
P(α₄)	0,15	0,1	0,1	0,15	0,1	0,05	0,15	0,15	0,05	0,15
P(α₅)	0,1	0,25	0,2	0,2	0,1	0,15	0,05	0,2	0,3	0,1