Saavutettava tila

Määritelmä

Olkoon homogeeninen Markov-ketju diskreetillä ajalla. Tilan sanotaan olevan saavutettavissa tilasta , jos sellainen on olemassa $\{X_{n}\}_{n\in \mathbb {N} }$ $j$ $i$ ${\näyttötyyli n=n(i,j)}$

p_{ij}^{(n)}\equiv \mathbb {P} (X_{n}=j\mid X_{0}=i)>0

He kirjoittavat . $i\rightarrow j$

Viestintävaltiot

valtiot ja niitä kutsutaan kommunikoimaan jos ja . Kirjoitamme: . $i$ $j$ $i\rightarrow j$ $j\rightarrow i$ $i vasen oikea nuoli j$
Viestintäominaisuus muodostaa tila-avaruuteen ekvivalenssirelaation . Luotuja ekvivalenssiluokkia kutsutaan hajoamattomiksi luokiksi . Jos Markovin ketju on sellainen, että sen tilat muodostavat vain yhden hajoamattoman luokan, niin sitä kutsutaan hajoamattomaksi .
Samaan hajoamattomaan luokkaan kuuluvat tilat ovat joko kaikki toistuvia tai kaikki ei-toistuvia. Näin ollen hajoamaton luokka kokonaisuudessaan on joko toistuva tai ei-toistuva. Lopuksi, redusoitumaton Markov-ketju on joko täysin toistuva tai täysin peruuttamaton.

Esimerkkejä

Olkoon kolmitilainen Markov-ketju , ja sen siirtymän todennäköisyysmatriisilla on muoto $\{X_{n}\}_{n\geq 0}$ ${\näyttötyyli \{1,2,3\))$

P=\left({\begin{matrix}0,5&0,5&0\\0,1&0,9&0\\0&0&1\end{matrix}}\right).

Tämän ketjun tilat muodostavat kaksi hajoamatonta luokkaa: ja . Erityisesti , mutta myös . $\{1,2\}$ $\{3\}$ $1\leftrightarrow 2$ ${\näyttötyyli 1\not \rightarrow 3}$ $3\not \rightarrow 1$

Siirtymistodennäköisyyksien matriisin määrittelemä Markovin ketju

P=\left({\begin{matrix}0&1&0\\0&0&1\\1&0&0\end{matrix}}\oikea)

hajoamaton.

Valtioiden luokittelu ja Markovin ketjut
Osavaltio	jaksoton palautettavissa saavutettavissa peruuttamaton merkityksetön nolla määräajoin positiivinen kommunikoida merkittävä
Ketju	jaksoton palautettavissa peruuttamaton hajoamaton nolla kausijulkaisu positiivinen hajoava ergodinen