Смешанные p-q-ичные системы счисления

Смешанная система счисления – это система счисления с основаниеями p и q, где для любых чисел истинно равенство P^m =Q, где m – натуральное число. В pq-ичной системе, каждая цифра числа заданного в q-ичной системе заменяется соответствующим ее представлением в р-ичной системе. Для перевода целого числа из р в q- ичную систему счисления необходимо запись числа в системе с основанием р разбить на группы по m цифр, начиная с правой цифры и каждую группу из m цифр записать одной цифрой в системе счисления с основанием q:

110101₂→311₄ 2² = 4

Для обратного перевода каждую цифру в записи числа в системе q отдельно перевести в систему счисления с основанием р, и дополнить слева нулями, где необходимо, так чтобы каждое полученное число состояло из m цифр.

73,16 01110011,00010110

Двоично-десятичная запись

Каждая цифра десятичного числа записывается в виде соответствующей двоичной тетрады (по 4):

123,45 0001001000011,01000101

			A
			B
			C
			D
			E
			F

12. ИНФОРМАЦИЯ: КОЛИЧЕСТВЕННАЯ МЕРА ХАРТЛИ. ИНФОРМАЦИЯ: КОЛИЧЕСТВЕННАЯ МЕРА ШЕННОНА. НОСИТЕЛИ ИНФОРМАЦИИ И ЕДИНИЦЫ ИЗМЕРЕНИЯ ИНФОРМАЦИИ.[4]

Информация - некоторая последовательность сведений, знаний, сообщений, выражаемых с помощью какого-либо алфавита, символов, жестов или звуков. Наука о свойствах информации и закономерностях информационных процессов называется теорией информации. Раздел теории информации, изучающий методы измерения информации называется информетрией. Количество информации – числовая величина, характеризующая информацию по разнообразию сложности, определенности, вероятности состояний отображаемой системы. Измерение информации базируется на двух исторических подходах – мера Хартли (основан на теории множеств и комбинаторики), мера Шеннона (основан на теории вероятности). Необходимость измерения количества информации остро встала при появлении систем передачи информации (к таким системам можно отнести, например, телеграфные).

Количественная мера информации, по Хартли:

Начало строительства здания "информологии" (которое, кстати говоря, еще не завершено) можно отнести к концу 50–х годов, когда в трудах американского инженера Р. Хартли была сделана попытка ввести количественную меру информации, передаваемой по каналам связи от отправителя к получателю.

Пусть имеется n состояний некоторой системы S или n опытов с различными равновероятными состояниями системы.

I(N) = log₂N – формула Хартли.

Бит – единица измерения количества информации.

Пример 1: Сколько бит информации несет сообщение о том, что в результате бросания монеты выпал орел. Имеется два равновероятных события: I = log₂2 = 1 бит. То есть, при одном из двух равновероятных событий сообщение о нем несет 1 бит информации.

Пример 2: В барабане для розыгрыша лотереи находятся 32 шара. Сколько информации содержит сообщение о первом выпавшем шаре? I = Log₂32 = 5 бит.

Пример 3: Есть 192 монеты. Одна из них фальшивая. Определить, сколько взвешиваний надо произвести, чтобы опознать ее.

Если положить на весы равное количество монет, то получим 2 возможности – 1-я: левая чаша ниже: 2-я правая чаша ниже; т.е. каждое взвешивание дает I = log₂2 = 1 бит. Значит, для определения фальшивой монеты надо сделать не менее k взвешиваний, где k удовлетворяет условию:

log₂2^k+1 ≥ log₂192 2^k+1 ≥ 192 2^k ≥ 96 …

Пример 4: Проводятся 2 лотереи. 4 из 32 и 5 из 64. Сообщение о результате какой из лотерей несет больше информации?

I₁ = log₂32 = 5 бит 4*5 = 20 бит

I₂ = log₂64 = 6 бит 5*6 = 30 бит

Достоинства меры Хартли: не рассматривает семантические и индивидуальные свойства системы

Недостатки: не учитывает различность рассматриваемых n состояний системы.

Количественная мера информации, по Шеннону:

Шеннон ввел понятие неопределенности ситуации, возникающей в процессе опыта, назвав ее энтропией (беспорядок в системе), т.е. I = H - равенство означает информационную энтропию из-за нехватки информации о системе или в системе нулевой энтропии соответствует максимальная информация. Информация снимает неопределенность. Степень неопределенности характеризует с помощью понятия вероятность.

Вероятность – величина, принимающая значение в диапазоне от 0 до 1 и рассматривается как мера возможности наступления какого-либо события, которое может иметь место в одних случаях и не иметь в других.

Шеннон предложил формулу для подсчета информации для не равновероятных событий:

I = H = , N = , n – количество не равновероятны событий.

Где, Pi – вероятность наступления какого-либо события.

Пример 1: имеется 50 шаров: 40 белых и 10 черных. Определить количество информации в сообщении о попадании белого или черного шаров.

Вероятность: P_б = 40/50 = 4/5 = 0.8, P_ч = 10/50 = 1/5 = 0.2, P_б > P_ч в 4 раза.

I_б = H_б = log₂1/0.8 = log₂1.25 = 0.32 бит

I_ч = H_ч = log₂1/0.2 = 2.32 бит

Чем ниже вероятность наступления некоторого события, тем больше информации содержит сообщение об этом событие.

Пример 2: В некотором алфавите 4 буквы + точка и пробел. В тексте из 10000 знаков буква «А» встречалась 4000 раз, «У» – 1000 раз, «М» - 2000 раз, «К» - 1500 раз, «.» - 500 раз и «_» - 1000 раз.

Определить объем информации в тексте (I):

1. Определим частоту встречаемости каждого символа и количество информации каждого символа:

«А» = 4000/10000 = 0.4; I_А = log₂1/0.4 = 1.32 бит;

«У» = 1000/10000 = 0.1; I_У = log₂1/0.1 = 3.19 бит

«М» = 2000/10000 = 0.2; I_М = log₂1/0.2 = 2.32 бит

«К» = 1500/10000 = 0.15; I_К = log₂1/0.15 = 2.73 бит

«.» = 500/10000 = 0.05; I. = log₂1/0.05 = 4.32 бит

«_» = 1000/10000 = 0.1; I _ = log₂1/0.1 = 3.19 бит

2. Общее количество информации определяется по формуле Шеннона:

I = H = 0.4*1.32 + (0.1*3.19)2 + (0.2*2.32)3 + (0.15*2.73)4 +

+ (0.05*4.32)5 + (0.1*3.19)6 = 7.19 бит.

В работах Хартли и Шеннона информация возникает перед нами лишь в своей внешней оболочке, которая представлена отношениями сигналов, знаков, сообщений друг к другу, или, как говорят, синтаксическими отношениями. Количественная мера Хартли–Шеннона не претендует на оценку содержательной (семантической) или ценностной, полезной (прагматической) сторон передаваемого сообщения. Но ведь едва ли применима такая мера в оценке информативности двух телеграмм с одинаковым числом знаков, но содержащих, например, сообщения: "Поздравляю с днем рождения" и "Встречай завтра рейс СУ172".