Paluutila

Paluutila on Markov-ketjun tila, jossa se on käynyt äärettömän monta kertaa.

Määritelmä

Olkoon homogeeninen Markov-ketju , jolla on diskreetti aika . Päästää $\{X_{n}\}_{n\geq 0}$

f_{ii}^{(n)}=\mathbb {P} (X_{n}=i,\;X_{k}\not =i,\,k=1,\ldots ,n-1 \mid X_{0}=i)

on todennäköisyys poistua tilasta ja palata siihen täsmälleen vaiheittain. Sitten $i$ $n$

{\displaystyle f_{ii}=\sum \limits _{n=1}^{\infty }f_{ii}^{(n)))

on todennäköisyys palata tilasta poistuttuaan siihen (äärellisen tai äärettömän ajan). $i$

Tilaa kutsutaan toistuvaksi (toistuvaksi) , jos . Muuten tilaa kutsutaan peruuttamattomaksi (transientiksi) . $i$ $f_{ii}=1$

Palautusehto

Tila on palautettavissa, jos ja vain, jos jokin seuraavista ehdoista toteutuu: $i$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}=\infty$ , missä . $p_{ii}^{(n)}=\mathbb {P} (X_{n}=i\mid X_{0}=i)$
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=1$ .

Näin ollen tila on peruuttamaton, jos ja vain jos jokin seuraavista ehdoista täyttyy: $i$

$\sum \limits _{n=1}^{\infty }p_{ii}^{(n)}<\infty$ .
$\mathbb {P} \left(\limsup \limits _{n\to \infty }\{X_{n}=i\}\mid X_{0}=i\right)=0$ .

Paluuaika

Oletetaan, että melkein kaikkialla , ja määritä satunnaismuuttuja , joka on yhtä suuri kuin ensimmäisen tilaanpaluun aika , ts. $X_{0}=i$ $T_{i}$ $i$

{\displaystyle T_{i}=\inf\{n\geq 1\mid X_{n}=i\))

Sitten sillä on todennäköisyysfunktion antama diskreetti jakauma $T_{i}$

{\displaystyle \mathbb {P} (T_{i}=n)=f_{ii}^{(n)))

Palautustilaa kutsutaan positiiviseksi jos $i$

\mathbb {E} [T_{i}]=\sum \limits _{n=1}^{\infty }nf_{ii}^{(n)}<\infty

ja nolla jos

\mathbb {E} [T_{i}]=\infty

Hajoamattoman luokan toistuminen

Jos tilat ja ilmoitetaan , ja ovat vastavuoroisia, niin tila on myös vastavuoroinen. $i$ $j$ $i$ $j$
Lisäksi, jos tila on positiivinen, niin tila on myös positiivinen. $i$ $j$

Toistuvuus ja positiivisuus ovat siis hajoamattoman luokan ominaisuuksia . Jos Markovin ketju on hajoamaton, puhutaan sen toistumisesta ja positiivisuudesta.

Valtioiden luokittelu ja Markovin ketjut
Osavaltio	jaksoton palautettavissa saavutettavissa peruuttamaton merkityksetön nolla määräajoin positiivinen kommunikoida merkittävä
Ketju	jaksoton palautettavissa peruuttamaton hajoamaton nolla kausijulkaisu positiivinen hajoava ergodinen