Достижимое состояние

Определение

Пусть [math]\displaystyle{ \{X_n\}_{n \in \mathbb{N}} }[/math] — однородная цепь Маркова с дискретным временем. Состояние [math]\displaystyle{ j }[/math] называется достижи́мым из состояния [math]\displaystyle{ i }[/math], если существует [math]\displaystyle{ n = n(i,j) }[/math] такое, что

[math]\displaystyle{ p_{ij}^{(n)}\equiv \mathbb{P}(X_n = j \mid X_0 = i) \gt 0 }[/math].

Пишут [math]\displaystyle{ i \rightarrow j }[/math].

Сообщающиеся состояния

• Состояния [math]\displaystyle{ i }[/math] и [math]\displaystyle{ j }[/math] называются сообща́ющимися, если [math]\displaystyle{ i \rightarrow j }[/math] и [math]\displaystyle{ j \rightarrow i }[/math]. Пишем: [math]\displaystyle{ i \leftrightarrow j }[/math].
• Свойство сообщаемости порождает на пространстве состояний отношение эквивалентности. Порождаемые классы эквивалентности называются неразложи́мыми кла́ссами. Если цепь Маркова такова, что её состояния образуют лишь один неразложимый класс, то она называется неразложи́мой.
• Состояния, принадлежащие одному и тому же неразложимому классу, либо все возвратные, либо все невозвратные. Таким образом неразложимый класс целиком либо возвратен, либо невозвратен. Наконец, неразложимая цепь Маркова либо целиком возвратна, либо целиком невозвратна.

Примеры

• Пусть [math]\displaystyle{ \{X_n\}_{n \ge 0} }[/math] — цепь Маркова с тремя состояниями [math]\displaystyle{ \{1,2,3\} }[/math], и её матрица переходных вероятностей имеет вид

[math]\displaystyle{ P = \left( \begin{matrix} 0.5 & 0.5 & 0 \\ 0.1 & 0.9 & 0 \\ 0 & 0 & 1 \end{matrix} \right). }[/math]

Состояния этой цепи образуют два неразложимых класса: [math]\displaystyle{ \{1,2\} }[/math] и [math]\displaystyle{ \{3\} }[/math]. В частности, [math]\displaystyle{ 1 \leftrightarrow 2 }[/math], но [math]\displaystyle{ 1 \not\rightarrow 3 }[/math] и [math]\displaystyle{ 3 \not\rightarrow 1 }[/math].

• Цепь Маркова, задаваемая матрицей переходных вероятностей

[math]\displaystyle{ P = \left( \begin{matrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{matrix} \right) }[/math],

неразложима.