Kanoninen korrelaatioanalyysi

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 27. maaliskuuta 2021 tarkistetusta versiosta . vahvistus vaatii 1 muokkauksen .

Canonical Correlation Analysis ( CCA ) on tapa saada tietoa ristikorrelaatiomatriiseista [ . Jos meillä on kaksi vektoria ja satunnaismuuttujia ja näiden muuttujien välillä on korrelaatioita , niin kanoninen korrelaatioanalyysi löytää X :n ja Y :n lineaarisen yhdistelmän, jolla on suurin korrelaatio [1] . T. R. Knapp totesi, että "käytännössä kaikki yleisesti käytetyt parametriset testit $X=(X_{1},\dots ,X_{n})$ $Y=(Y_{1},\dots ,Y_{m})$ merkitsevyyttä voidaan käsitellä kanonisen korrelaatioanalyysin erikoistapauksena, joka on yleinen menettely kahden muuttujajoukon välisten suhteiden tutkimiseksi” [2] . Harold Hotelling esitteli menetelmän ensimmäisen kerran vuonna 1936 [3] .

Määritelmä

Kun on annettu kaksi sarakevektoria ja satunnaismuuttujat, joilla on äärellinen toinen momentti , ristikorrelaatio voidaan määritellä matriisiksi, jonka alkiot ovat kovariansseja . Käytännössä arvioimme kovarianssimatriisin otosdatan perusteella ja (eli datamatriisin parista). $X=(x_{1},\dots ,x_{n})'$ $Y=(y_{1},\dots ,y_{m})'$ $\Sigma _{XY}=\operaattorin nimi {cov} (X,Y)$ $n\times m$ $(i, j)$ $\operaattorin nimi {cov} (x_{i},y_{j})$ $X$ $Y$

Kanoninen korrelaatioanalyysi etsii vektoreita ( ) ja ( ) siten, että satunnaismuuttujat maksimoivat korrelaation . Satunnaismuuttujat ja ovat kanonisten muuttujien ensimmäinen pari . Sitten etsitään vektoreita, jotka maksimoivat saman korrelaation rajoituksella, että ne eivät korreloi kanonisten muuttujien ensimmäisen parin kanssa, jolloin saadaan toinen kanonisten muuttujien pari . Tätä menettelyä voidaan jatkaa jopa kertaa. $a$ $a$ $\in \mathbb {R} ^{n}$ $b$ ${\displaystyle b\in \mathbb {R} ^{m))$ $a'^{T}X$ $b'^{T}Y$ $\rho =\operaattorin nimi {corr} (a'^{T}X,b'^{T}Y)$ $U=a'^{T}X$ $V=b'^{T}Y$ ${\näyttötyyli \min\{m,n\))$

( a ′ , b ′ ) = argmax a , b korr ⁡ ( a T X , b T Y ) {\displaystyle (a',b')={\underset {a,b}{\operaattorinimi {argmax} }}\operaattorinimi {corr} (a^{T}X,b^{T}Y)}

(a',b')={\underset {a,b}{\operaattorinimi {argmax} }}\operaattorinimi {corr} (a^{T}X,b^{T}Y)

Laskenta

Johtopäätös

Anna ja . Maksimoitu parametri $\Sigma _{XX}=\operaattorin nimi {cov} (X,X)$ $\Sigma _{YY}=\operaattorin nimi {cov} (Y,Y)$

\rho ={\frac {a^{T}\Sigma _{XY}b}{{\sqrt {a^{T}\Sigma _{XX}a)){\sqrt {b^{T }\Sigma _{YY}b}}}}.

Ensimmäisessä vaiheessa muutamme perustetta ja määritämme

c=\Sigma _{XX}^{1/2}a,

d=\Sigma _{YY}^{1/2}b.

Sitten meillä on

\rho ={\frac {c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d}{ {\sqrt {c^{T}c}}{\sqrt {d^{T}d}}}}.

Cauchyn ja Bunyakovskyn epätasa-arvolla saamme

\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\right)(d)\ leqslant \left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}\Sigma _{YY}^{- 1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c\oikea)^{1/2}\vasen(d^{T}d\oikea)^{1/2 },

\rho \leqslant {\frac {\left(c^{T}\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\ Sigma _{YX}\Sigma _{XX}^{-1/2}c\oikea)^{1/2}}{\left(c^{T}c\oikea)^{1/2}}} .

Epäyhtälöstä tulee tasa-arvo, jos vektorit ja ovat kollineaarisia . Lisäksi maksimikorrelaatio saavutetaan, kun on ominaisvektori , jolla on matriisin suurin ominaisarvo (katso Rayleigh-relaatio ). Seuraava pari löydetään käyttämällä seuraavaksi suurinta ominaisarvoa . Ortogonaalisuuden takaa korrelaatiomatriisien symmetria. $d$ $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$ $c$ $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$

Ratkaisu

Ratkaisu:

$c$ on ominaisvektori $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1/ 2}$
$d$ suhteellisesti $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1/2}c$

Vastaavasti myös

$d$ on ominaisvektori $\Sigma _{YY}^{-1/2}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1/ 2}$
$c$ suhteellisesti $\Sigma _{XX}^{-1/2}\Sigma _{XY}\Sigma _{YY}^{-1/2}d$

Koordinaattien käänteisellä muutoksella saamme

$a$ on ominaisvektori , ${\displaystyle \Sigma _{XX}^{-1}\Sigma _{XY}\Sigma _{YY}^{-1}\Sigma _{YX))$
$b$ suhteellisesti $\Sigma _{YY}^{-1}\Sigma _{YX}a;$
$b$ on ominaisvektori $\Sigma _{YY}^{-1}\Sigma _{YX}\Sigma _{XX}^{-1}\Sigma _{XY},$
$a$ suhteellisesti . $\Sigma _{XX}^{-1}\Sigma _{XY}b$

Kanoniset muuttujat määritellään yhtälöillä:

U=c'\Sigma _{XX}^{-1/2}X=a'X

V=d'\Sigma _{YY}^{-1/2}Y=b'Y

Toteutus

CCA voidaan laskea käyttämällä korrelaatiomatriisin singulaariarvojakelua [4] . Kanoninen korrelaatio on saatavana ominaisuutena seuraavissa järjestelmissä [5] .

MATLAB on canoncorr- funktio ( ja myös oktaavissa ) .
R on tavallinen cancor- funktio ja joitain muita paketteja. CCP tilastollisen hypoteesin testaamiseen kanonisessa korrelaatioanalyysissä.
SAS - menettely cancorr .
scikit-learn , Python - Cross - hajotuspaketti.
SPSS on CanCorr-makro, joka tulee pääpaketin mukana.

Hypoteesin testaus

Jokaisen rivin merkitys testataan seuraavalla menetelmällä. Koska korrelaatiot on lajiteltu, väite, että rivi on nolla, tarkoittaa, että kaikki muut korrelaatiot ovat myös nolla. Jos meillä on riippumattomia havaintoja otoksessa ja se on arvioitu korrelaatio arvolle , -: nnelle riville merkitsevyyskriteeri on: $i$ $s$ ${\widehat {\rho }}_{i}$ ${\displaystyle i=1,\pisteet ,\min\{m,n\))$ $i$

\chi ^{2}=-\left(p-1-{\frac {1}{2}}(m+n+1)\right)\ln \prod _{j=i}^{ \min\{m,n\}}(1-{\widehat {\rho }}_{j}^{2}),

joka on asymptoottisesti jakautunut khi-neliöön , jolla on vapausasteita suurille [6] . Koska kaikki korrelaatiot välillä - ovat nollia, termien tulo tämän pisteen jälkeen on merkityksetön. ${\näyttötyyli (m-i+1)(n-i+1)}$ $s$ ${\näyttötyyli \min\{m,n\))$ $s$

Käytännön käyttö

Tyypillinen kanonisen korrelaation käyttö kokeellisessa kontekstissa on tarkastella kahta muuttujajoukkoa ja tutkia, mitä yhteistä näillä kahdella joukolla on [7] . Esimerkiksi psykologisessa tutkimuksessa voidaan suorittaa kaksi vakiintunutta monimuuttujapersoonallisuustestiä [ , kuten Minnesota Multidimensional Personality Inventory (MMPI-2) ja NEO . Tarkastelemalla, kuinka MMPI-2-tekijät liittyvät NEO-tekijöihin, voidaan selvittää, mitkä ominaisuudet havaittiin olevan yhteisiä näiden kahden testin välillä ja kuinka paljon muuttujat ovat yhteisiä. Voidaan esimerkiksi havaita, että ominaisuudet, kuten ekstraversio tai neuroottisuus , muodostavat olennaisen osan näiden kahden testin yhteisistä muuttujista.

Voit myös käyttää kanonista korrelaatioanalyysiä saadaksesi yhtälön, joka yhdistää kahta muuttujajoukkoa, kuten suoritusmittausjoukon ja selittävien muuttujien joukon tai tulosjoukon ja syöttöjoukon. Tällaiselle mallille voidaan asettaa rajoittavia ehtoja teoreettisten tai intuitiivisesti ilmeisten vaatimusten tarjoamiseksi. Tämän tyyppinen malli tunnetaan maksimikorrelaatiomallina [8] .

Kanonisen korrelaation tulosten visualisointi tehdään yleensä pylväsdiagrammin avulla kahden muuttujajoukon kertoimista kanonisten muuttujien parille, mikä osoittaa merkittävän korrelaation. Jotkut kirjoittajat ehdottavat, että tulokset on parempi visualisoida heliografilla, joka on ympyräkaavio, jossa on pylväitä säteinä, joista puolet edustaa yhtä muuttujajoukkoa ja toinen puoli toista joukkoa [9] .

Esimerkkejä

Olkoon nolla matemaattinen odotus , ts. . Jos ts. ja ovat täysin korreloituneita, niin esimerkiksi ja , joten ensimmäinen (vain tässä esimerkissä) kanonisten muuttujien pari on ja . Jos ts. ja ovat täysin antikorreloituja, sitten ja , joten ensimmäinen (vain tässä esimerkissä) kanonisten muuttujien pari on ja . Huomaa, että molemmissa tapauksissa , mikä osoittaa, että kanoninen korrelaatioanalyysi toimii täsmälleen samalla tavalla korreloitujen muuttujien kanssa kuin antikorreloitujen muuttujien kanssa. $X=x_{1}$ $\operaattorin nimi {E} (X)=0$ $Y=X$ $X$ $Y$ $a = 1$ $b = 1$ $U=X$ $V=Y=X$ $Y=-X$ $X$ $Y$ $a = 1$ $b = -1$ $U=X$ $V=-Y=X$ $U=V$

Suhde pääkulmiin

Oletetaan, että ja meillä on nolla matemaattista odotusta , ts. . Niiden kovarianssimatriisit ja niitä voidaan pitää Gram-matriiseina , joissa on sisätulo ja vastaavasti . Tässä tulkinnassa satunnaismuuttujia, vektorin elementtejä ja vektorin alkioita käsitellään vektoriavaruuden elementteinä kovarianssin antamalla skalaaritulolla . $X=(x_{1},\dots ,x_{n})'$ $Y=(y_{1},\dots ,y_{m})'$ $\operaattorinnimi {E} (X)=\operaattorin nimi {E} (Y)=0$ $\Sigma _{XX}=\operaattorinimi {Cov} (X,X)=\operaattorinimi {E} [XX']$ $\Sigma _{YY}=\operaattorinimi {Cov} (Y,Y)=\operaattorinimi {E} [YY']$ $X$ $Y$ $x_{i}$ $X$ $y_{j}$ $Y$ $\operaattorin nimi {cov} (x_{i},y_{j})$

Kanonisten muuttujien määritelmä ja vastaa sitten juurivektorien määritelmää aliavaruuksien parille, jotka ulottuvat ja , kun otetaan huomioon tämä skalaaritulo . Kanoninen korrelaatio on yhtä suuri kuin aliavaruuksien välisen kulman kosini . $U$ $V$ $X$ $Y$ $\operaattorin nimi {corr} (U,V)$

Valkaisu ja todennäköisyyspohjainen kanoninen korrelaatioanalyysi

CCA:ta voidaan pitää myös erityisenä valkaisumuunnoksena [10] , jossa satunnaisvektorit ja ovat samanaikaisesti muunnettu siten, että ristikorrelaatiomatriisi valkaistujen vektorien ja ja on diagonaalinen [11] . $X$ $Y$ ${\displaystyle X^{CCA))$ ${\displaystyle Y^{CCA))$

Kanoniset korrelaatiot tulkitaan sitten regressiokertoimiksi, jotka liittyvät , ja , ja ne voivat olla negatiivisia. CCA:n tarkastelu regressiona tarjoaa tavan rakentaa piilevän muuttujan generatiivinen todennäköisyysmalli CCA:lle, jossa korreloimattomat piilevät muuttujat edustavat kokonais- ja osittaista varianssia. ${\displaystyle X^{CCA))$ ${\displaystyle Y^{CCA))$

Katso myös

Yleistetty kanoninen korrelaatio
Multilineaarinen aliavaruuden oppiminen
RV-suhde
Hypertasojen väliset kulmat
Pääkomponenttimenetelmä
Lineaarinen erotteluanalyysi
singulaariarvon hajottelu
Osittainen pienimmän neliösumman regressio

Muistiinpanot

↑ Härdle, Simar, 2007 , s. 321-330.
↑ Knapp, 1978 , s. 410–416.
↑ Hotelling, 1936 , s. 321-377.
↑ Hsu, Kakade, Zhang, 2012 , s. 1460.
↑ Huang, Lee, Hsiao, 2009 , s. 2162.
↑ Mardia, Kent, Bibby, 1979 .
↑ Sieranoja, Sahidullah, Kinnunen, Komulainen, Hadid, 2018 .
↑ Tofallis, 1999 , s. 371-378.
↑ Degani, Shafto, Olson, 2006 , s. 93.
↑ Valkaisumuunnos muuntaa satunnaismuuttujien vektorin käyttämällä lineaarista muunnosta valkoiseksi kohinaksi
↑ Jendoubi, Strimmer, 2018 .

Kirjallisuus

Wolfgang Hardle, Leopold Simar. Kanoninen korrelaatioanalyysi // Applied Multivariate Statistical Analysis. - 2007. - ISBN 978-3-540-72243-4 . - doi : 10.1007/978-3-540-72244-1_14 .
Knapp TR Kanoninen korrelaatioanalyysi: yleinen parametrinen merkitsevyystestausjärjestelmä // Psychological Bulletin. - 1978. - T. 85 , no. 2 . - doi : 10.1037/0033-2909.85.2.410 .
Kanti V. Mardia, JT Kent, JM Bibby. monimuuttujaanalyysi. – Academic Press , 1979.
Hotelling H. Relations Between Two Sets of Variates // Biometrika. - 1936. - T. 28 , no. 3-4 . - doi : 10.1093/biomet/28.3-4.321 . — .
Hsu D., Kakade SM, Zhang T. Spektrialgoritmi piilotettujen Markovin mallien oppimiseen // Journal of Computer and System Sciences. - 2012. - T. 78 , no. 5 . - doi : 10.1016/j.jcss.2011.12.025 . - arXiv : 0811.4413 .
Huang SY, Lee MH, Hsiao CK Epälineaariset assosiaatiomittarit ytimen kanonisen korrelaatioanalyysin ja sovellusten kanssa // Journal of Statistical Planning and Inference. - 2009. - T. 139 , no. 7 . - doi : 10.1016/j.jspi.2008.10.011 .
Sieranoja S., Sahidullah Md, Kinnunen T., Komulainen J., Hadid A. Audiovisuaalisen synkronoinnin tunnistus optimoiduilla ääniominaisuuksilla // IEEE 3rd Int. Signaalin ja kuvankäsittelyn konferenssi (ICSIP 2018). - 2018 - heinäkuuta.
Tofallis C. Mallin rakentaminen useilla riippuvaisilla muuttujilla ja rajoituksilla // Journal of the Royal Statistical Society, Series D. - 1999. - V. 48 , no. 3 . - doi : 10.1111/1467-9884.00195 . - arXiv : 1109.0725 .
Degani A., Shafto M., Olson L. Kanoninen korrelaatioanalyysi: Komposiittiheliografien käyttö useiden kuvioiden esittämiseen // Diagrammaattinen esitys ja päättely . - 2006. - T. 4045. - (Luentomuistiinpanot tietojenkäsittelytieteestä). — ISBN 978-3-540-35623-3 . - doi : 10.1007/11783183_11 .
Jendoubi T., Strimmer K. Valkaiseva lähestymistapa todennäköisyyspohjaiseen kanoniseen korrelaatioanalyysiin omics-datan integroinnissa. – 2018.

Linkit

Diskriminanttikorrelaatioanalyysi (DCA)
- Haghighat M., Abdel-Mottaleb M., Alhalabi W. Diskriminanttikorrelaatioanalyysi : reaaliaikainen ominaisuustason fuusio multimodaalista biometristä tunnistamista varten . IEEE Transactions on Information Forensics and Security]. - 2016. - T. 11(9). ( MATLAB )
Hardoon D., Szedmak S., Shawe-Taylor J. Kanoninen korrelaatioanalyysi: yleiskatsaus oppimismenetelmien soveltamiseen // Neural Computation. - 2004. - T. 16 , no. 12 . - P. 2639-2664. - doi : 10.1162/0899766042321814 . — PMID 15516276 .
Huomautus kahden ranking- pistesarjan ordinaalisesta kanonisesta korrelaatioanalyysistä - Journal of Quantitative Economics 7(2), 2009, pp. 173-199
Esitysrajoitettu kanoninen korrelaatioanalyysi: Kanonisen korrelaation ja pääkomponenttianalyysien hybridisaatio ( FORTRAN -ohjelma mukana ) - Journal of Applied Economic Sciences 4(1), 2009, s. 115–124

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokitteluongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-Net Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG