Olkoon homogeeninen Markov-ketju , jolla on diskreetti aika ja laskettava määrä tiloja. Merkitse
siirtymän todennäköisyydet askeleita kohti. Jos on olemassa sellainen diskreetti jakauma , että ja
,silloin sitä kutsutaan ergodiseksi jakaumaksi , ja itse ketjua kutsutaan ergodiseksi .
Olkoon Markov-ketju diskreetillä tila-avaruudella ja siirtymän todennäköisyyksien matriisilla . Sitten tämä ketju on ergodinen jos ja vain jos se on
Ergodinen jakauma on silloin ainoa ratkaisu järjestelmään:
.Markovin ketjut | Valtioiden luokittelu ja|
---|---|
Osavaltio | |
Ketju |