Olennainen tila

Olennainen tila on Markovin ketjun tila, josta lähtemisen jälkeen se voi aina palata siihen.

Määritelmä

Olkoon homogeeninen Markov-ketju diskreetillä ajalla ja diskreetillä tila-avaruudella . Silloin tilaa kutsutaan merkityksettömäksi , jos on olemassa tila ja sellainen $\{X_{n}\}_{n\geq 0}$ $\{1,2,\ldots\}$ $i$ $j$ $n_{ij}\in \mathbb {N}$

p_{ij}^{(n_{ij})}>0

, mutta .

p_{ji}^{(n)}=0,\quad \forall n\in \mathbb {N}

Muuten tilaa kutsutaan välttämättömäksi . $i$

Huomautus

Ei-olennaiset tilat eivät näytä roolia Markovin ketjun pitkän aikavälin käyttäytymisen tutkimuksessa, ja siksi ne jätetään useimmiten huomiotta.

Esimerkki

Olkoon Markovin ketjun tila-avaruus äärellinen: , ja siirtymän todennäköisyyksien matriisilla on muoto: ${\näyttötyyli \{1,2,3,4\))$

P=\left({\begin{matrix}0&1&0&0\\0&0&0.6&0.4\\0&0&0.5&0.5\\0&0&0.1&0.9\end{matriisi}}\oikea)

Sitten tilat ja ovat välttämättömiä, kun taas ja ovat välttämättömiä. $yksi$ $2$ $3$ $neljä$

Valtioiden luokittelu ja Markovin ketjut
Osavaltio	jaksoton palautettavissa saavutettavissa peruuttamaton merkityksetön nolla määräajoin positiivinen kommunikoida merkittävä
Ketju	jaksoton palautettavissa peruuttamaton hajoamaton nolla kausijulkaisu positiivinen hajoava ergodinen