Autoregressiivinen ( AR- ) malli ( englanniksi autoregressive model ) on aikasarjamalli , jossa aikasarjan arvot tällä hetkellä riippuvat lineaarisesti saman sarjan aikaisemmista arvoista. Autoregressiivinen prosessi kertaluvun p (AR( p )-prosessi) määritellään seuraavasti
missä ovat mallin parametrit (autoregressiokertoimet), on vakio (oletetaan usein nollaksi yksinkertaisuuden vuoksi) ja on valkoinen kohina .
Yksinkertaisin esimerkki on ensimmäisen asteen autoregressiivinen AR(1)-prosessi:
Tässä prosessissa autoregressiivinen kerroin on sama kuin ensimmäisen asteen autokorrelaatiokerroin.
Toinen yksinkertainen prosessi on Yule-prosessi, AR(2)-prosessi:
Jos otamme käyttöön viiveoperaattorin , niin autoregressiivinen malli voidaan esittää seuraavasti
tai
Autoregressiivisen prosessin stationaarisuus riippuu ominaispolynomin juurista . Jotta prosessi olisi paikallaan [1] , riittää, että karakteristisen polynomin kaikki juuret ovat kompleksitasossa yksikköympyrän ulkopuolella .
Erityisesti AR(1)-prosessissa tämän polynomin juuri , joten stationaarisuusehto voidaan kirjoittaa muodossa , eli autoregressiokertoimen (tässä tapauksessa autokorrelaatiokertoimen) on oltava tiukasti pienempi kuin 1 modulo .
AR(2)-prosessille voidaan osoittaa, että stationaarisuusehdot ovat muotoa: .
Kiinteät AR-prosessit mahdollistavat Wold-hajoamisen - esityksen äärettömän MA-prosessin muodossa :
Ensimmäinen termi on AR-prosessin matemaattinen odotus. Jos c=0, niin prosessin odotusarvo on myös nolla.
Voidaan osoittaa, että AR(p)-prosessin autokovarianssi- ja autokorrelaatiofunktiot täyttävät rekursiiviset suhteet:
AR(1)-prosessin yksinkertaisimmassa tapauksessa keskiarvo on , varianssi on , ja autokorrelaatio on .
Yleisessä tapauksessa matemaattisen odotuksen lauseke malliparametrien kautta esitettiin yllä, mutta aikasarjan hajonnan lauseke on paljon monimutkaisempi. Voidaan osoittaa, että sarjan varianssi ja autokovarianssivektori ilmaistaan parametrein seuraavasti:
,
missä on parametrivektori, on järjestysmatriisi , jonka alkiot määritellään seuraavasti. Diagonaaliset elementit ovat yhtä suuret . Lävistäjän yläpuolella olevat elementit ovat yhtä suuret ja diagonaalin alapuolella olevat elementit ovat yhtä suuret . Tässä ymmärretään, että jos indeksi ylittää mallin järjestyksen , niin vastaava arvo asetetaan nollaan.
Erityisesti AR(1)-prosessissa matriisi on vain yksi, joten , joka vastaa yllä olevaa kaavaa.
-Prosessille toisen kertaluvun matriisi - määritellään seuraavasti: ensimmäinen rivi on ( ;0), toinen on ( ;1). Yllä olevaa kaavaa soveltamalla saat seuraavan lausekkeen tämän prosessin varianssille:
Käytännössä malliparametreilla ilmaistuja prosessivarianssin kaavoja ei yleensä käytetä, vaan kovariansseina käytetään seuraavaa lauseketta:
Autoregressiivisen prosessin autokorrelaatiofunktio vaimenee eksponentiaalisesti mahdollisten värähtelyjen kanssa (värähtelyt riippuvat ominaispolynomin kompleksisten juurien läsnäolosta). Tässä tapauksessa k>p:n osittainen autokorrelaatiofunktio on yhtä suuri kuin nolla. Tätä ominaisuutta käytetään tunnistamaan AR-mallin järjestys aikasarjan otoksen osittaisesta autokorrelaatiofunktiosta.
AR(1)-prosessissa autokorrelaatiofunktio on eksponentiaalisesti vaimeneva funktio (ilman värähtelyjä), jos stationaarisuusehto täyttyy. Ensimmäisen kertaluvun osittainen autokorrelaatiofunktio on r ja korkeampien kertalukujen osalta 0.
Ottaen huomioon autokorrelaatiofunktion pariteetin ja käyttämällä toistuvuusrelaatiota ensimmäisille p autokorrelaatioille, saadaan Yule-Walker yhtälöjärjestelmä [2] :
tai matriisimuodossa
Jos käytämme näyteautokorrelaatioita todellisten (tuntemattomien) autokorrelaatioiden sijaan, saamme estimaatteja tuntemattomista autoregressiokertoimista. Tämän estimointimenetelmän voidaan osoittaa vastaavan tavallista pienimmän neliösumman menetelmää (OLS) . Jos mallin satunnaisvirheet jakautuvat normaalisti, niin tämä menetelmä vastaa myös ehdollista maksimitodennäköisyysmenetelmää . Tarkempien arvioiden saamiseksi jälkimmäisessä tapauksessa voidaan käyttää full maximum likelihood -menetelmää, joka käyttää tietoa sarjan ensimmäisten jäsenten jakautumisesta. Esimerkiksi AR(1)-prosessin tapauksessa ensimmäisen termin jakauman katsotaan olevan yhtä suuri kuin aikasarjan ehdoton jakauma (normaalijakauma, jossa on matemaattinen odotus ja sarjan ehdoton varianssi).
AR-malleja voidaan käyttää kausiluonteisuuden mallintamiseen. Tällaisten mallien nimi on SAR (Seasonal AR). Esimerkiksi neljännesvuosittaisten tietojen perusteella ja olettaen neljännesvuosittaisen kausivaihtelun voitaisiin rakentaa seuraava SAR(4)-malli:
Itse asiassa tämä on tavallinen AR-malli, jonka malliparametreja on rajoitettu (parametrit, jotka ovat yhtä suuria kuin nolla, jos viive on alle 4). Käytännössä kausiluontoisuus voidaan yhdistää tavanomaiseen autoregressioon, esimerkiksi:
Joissakin tapauksissa kausittaiset mallit ovat hyödyllisiä, joissa satunnainen virhe on jonkin AR-prosessin alainen:
On helppo nähdä, että tällainen malli operaattorimuodossa voidaan kirjoittaa seuraavasti:
Tällaista mallia kutsutaan ns.