Классификация состояний цепи Маркова
Определение 1. Будем называть состояние несущественным, если из него с положительной вероятностью можно за конечное число шагов выйти, но нельзя в него вернуться, т.е. существуют такие m и j, что > 0, но для всех n и j .
Состояния, которые не являются несущественными называются существенными. Рассмотрим множество существенных состояний.
Определение 2. Существенные состояния i и j называются сообщающимися, если существуют такие n и m, что > 0 и .
Следовательно, множество существенных состояний разбиваются на конечное или счетное число непересекающихся множества , такие, что переходы между различными множествами невозможны. Эти множества называются неразложимыми. Если цепь состоит из одного неразложимого класса, то такая цепь называется неразложимой или неприводимой цепью.
Определение 3. Состояние j имеет период d=d(j), если выполнены следующие условия:
1) только для тех n, которые имеют вид n = dm (m – целое число);
2) d есть наименьшее из чисел, удовлетворяющих условию 1).
|
|
Замечание. Если для всех n > 1, то полагаем, что d (j)=0. Если же d (j)=1, то состояние j называется апериодическим.
Если цепь Маркова неразложимая, т.е состоит из одного класса сообщающихся существенных состояний, то, если одно состояние имеет период d, все состояния также имеют тот же период, и он называется периодом этого класса (или периодом цепи Маркова).
Обозначим через - вероятность первого возвращения в состояние i за k шагов; и для через - вероятность впервые попасть в состояние j за k шагов, выйдя из состояния i.
Теперь без доказательства приведем следующую формулу:
.
Обозначим через - вероятность рано или поздно вернуться впервые в состояние i, выйдя из него.
Определение 4. Состояние i называется возвратным, если , и невозвратным, если .
Далее, обозначим через .
Определение 5. Возвратное состояние i называется положительным, если , и нулевым, если .
В заключение этого раздела сформулируем несколько полезных теорем без доказательств.
Теорема 1. А) Состояние i возвратное тогда и только тогда, когда
В) Если состояние j возвратное, и i и j – сообщающиеся состояния, то состояние i тоже возвратное.
Теорема 2. В неразложимой цепи Маркова все состояния принадлежат одному типу, а именно
1) Если хотя бы одно состояние возвратное, то все остальные - тоже.
2) Если хотя бы одно состояние нулевое, то все остальные - тоже.
3) Если хотя бы одно состояние периодическое, то все остальные – тоже с одним и тем же периодом.
Теорема 3. Пусть цепь Маркова неразложимая, непериодическая. Тогда существуют пределы , и при этом
А) все они равны нулю, если все состояния невозвратные или возвратные нулевые;
|
|
В) все они положительные, если все состояния возвратные ненулевые, и они находятся как решение следующей системы уравнений
.
1. Книги А, В и С лежат в стопке. С вероятностью 1/3 выбирается одна из книг и кладется сверху. Состояние цепи Маркова – порядок книг в стопке. Провести полный анализ этой цепи Маркова.
2.В двух урнах размещены три шара. С вероятностью 1/3 достают один из трех шаров и перекладывают его на урну, в которой он находится, в другую. Состояние цепи Маркова – число шаров в первой урне. Провести полный анализ цепи Маркова.
3. В каждой из двух урн находится по три шара, причем из этих шести шаров три белых и три черных. Случайным образом вытаскивается один шар из первой урны, один – из второй и они меняются местами. Состояние цепи Маркова – число белых шаров в первой урне. Провести полный анализ цепи Маркова.