Temaattinen mallinnus

Aihemallinnus on tapa rakentaa malli tekstidokumenttien kokoelmasta, joka määrittää, mihin aiheisiin kukin asiakirja kuuluu [1] .

Tekstidokumenttien kokoelman aihemalli ( englanniksi topic model ) määrittää, mihin aiheisiin kukin dokumentti kuuluu ja mitkä sanat (termit) muodostavat kunkin aiheen [2] .

Siirtyminen termitilasta löydettyjen aiheiden tilaan auttaa ratkaisemaan termien synonyymia ja polysemiaa sekä ratkaisemaan tehokkaammin sellaisia ongelmia kuin dokumenttikokoelmien ja uutisvirtojen temaattinen haku , luokittelu , yhteenveto ja huomautus.

Aihemallinnus, eräänlainen tilastollinen malli dokumenttien kokoelmasta löydettyjen piilotettujen aiheiden löytämiseksi, on löytänyt tiensä esimerkiksi koneoppimiseen ja luonnollisen kielen käsittelyyn . Tutkijat käyttävät erilaisia aihemalleja analysoidakseen tekstejä, dokumenttien tekstiarkistoja, analysoidakseen aiheiden muutoksia dokumenttisarjoissa . Kun ymmärrät intuitiivisesti, että asiakirja viittaa tiettyyn aiheeseen, yhdelle aiheelle omistetuissa asiakirjoissa voit löytää joitain sanoja useammin kuin toisia. Esimerkiksi: "koira" ja "luu" esiintyvät useammin koiria koskevissa asiakirjoissa, "kissat" ja "maito" esiintyvät kissanpentuja koskevissa asiakirjoissa, prepositiot "ja" ja "in" esiintyvät molemmissa aiheissa. Yleensä dokumentissa käsitellään useita aiheita eri mittasuhteissa, joten dokumentissa, jossa 10 % aiheesta on kissoja ja 90 % koiria, voidaan olettaa olevan 9 kertaa enemmän sanoja koirista. Aihemallinnus heijastaa tätä intuitiota matemaattisessa rakenteessa, joka mahdollistaa asiakirjakokoelman tutkimuksen ja kunkin asiakirjan sanojen esiintymistiheysominaisuuksien tutkimuksen perusteella päätellä, että jokainen asiakirja on tietty tasapaino aiheita.

Nykyaikaisissa sovelluksissa yleisimmin käytettyjä lähestymistapoja ovat Bayesin verkkoihin perustuvat lähestymistavat - todennäköisyysmallit suunnatuille graafille . Todennäköisyyspohjaiset aihemallit ovat suhteellisen nuori itseoppimisen teorian tutkimusalue . Yksi ensimmäisistä ehdotetuista todennäköisyyspohjaisesta piilevasta semanttisesta analyysistä (PLSA), joka perustuu suurimman todennäköisyyden periaatteeseen , vaihtoehtona klassisille klusterointimenetelmille , jotka perustuvat etäisyysfunktioiden laskemiseen. PLSA:n jälkeen ehdotettiin piilevää Dirichlet-allokaatiomenetelmää ja sen lukuisia yleistyksiä [3] .

Todennäköisyyspohjaiset aihemallit suorittavat "pehmeän" klusteroinnin, jolloin asiakirja tai termi liittyy useaan aiheeseen kerralla eri todennäköisyyksillä. Todennäköisyyspohjaiset aihemallit kuvaavat kutakin aihetta diskreetillä jakaumalla termien joukolle, jokaista asiakirjaa diskreetillä jakaumalla aihejoukolle. Oletetaan, että dokumenttikokoelma on satunnaisesti ja riippumattomasti tällaisten jakaumien sekoituksesta valittu termisarja, ja tehtävänä on palauttaa seoksen komponentit näytteestä [4] .

Vaikka aihemallinnusta on perinteisesti kuvattu ja sovellettu luonnollisen kielen käsittelyssä, se on löytänyt tiensä myös muille aloille, kuten bioinformatiikkaan .

Historia

Ensimmäinen kuvaus aiheen mallintamisesta ilmestyi Ragawanin, Papadimitrioun, Tomakin ja Vempolan julkaisussa 1998 [5] . Thomas Hofmann vuonna 1999 [6] ehdotti todennäköisyyspohjaista latenttia semanttista indeksointia (PLSI). Yksi yleisimmistä ajankohtaisista malleista on latentti Dirichlet-sijoittelu (LDA). Tämä malli on todennäköisyyspohjaisen semanttisen indeksoinnin yleistys, ja sen kehittivät David Blei , Andrew Ng ja Michael Jordan ( englanniksi Michael I. Jordan ) [vuonna 2002 . Muut aihemallit ovat yleensä LDA:n laajennuksia, esimerkiksi pachinko-sijoittelu parantaa LDA:ta ottamalla käyttöön lisäkorrelaatiokertoimia jokaiselle aiheen muodostavalle sanalle.

Tapaustutkimukset

Templeton tarkasteli humanististen tieteiden aihemallinnustyötä ryhmiteltynä synkronisten ja diakroonisten lähestymistapojen alle [8] . Synkroniset lähestymistavat korostavat aiheita jossain vaiheessa, esimerkiksi Jockers käytti aihemallia tutkiakseen, mistä bloggaajat kirjoittivat Digital Humanities Day -päivänä vuonna 2010 [9] .

Diakrooniset lähestymistavat, mukaan lukien Blockin ja Newmanin määritelmä aiheiden ajallisesta dynamiikasta Pennsylvania Gazettessa 1728-1800 [10] . Griffiths ja Stavers käyttivät aihemallinnusta PNAS -lehtien arvosteluissa määrittäen aiheen suosion muutoksen vuodesta 1991 vuoteen 2001 [11] . Blevin loi teemamallin Martha Balladsin päiväkirjaan [12] . Mimno käytti aihemallinnusta analysoidakseen 24 klassista ja arkeologista aikakauslehteä 150 vuoden aikana määrittääkseen muutoksia aiheiden suosiossa ja kuinka paljon lehdet olivat muuttuneet tuona aikana [13] .

Aiheen mallinnusalgoritmit

David Blayn "Introduction to Topic Modeling" käsittelee suosituinta Latent Dirichlet Allocation -algoritmia [14] . Käytännössä tutkijat käyttävät yhtä maksimaalisen todennäköisyyden menetelmän heuristiikasta, singulaaristen arvon hajottelumenetelmiä (SVD), momenttien menetelmää , ei-negatiiviseen faktorointimatriisiin (NMF) perustuvaa algoritmia, todennäköisyyspohjaisia aihemalleja, todennäköisyyspohjaista piilevää semanttista analyysiä. , piilevä Dirichlet-sijoitus. Vorontsov K.V.:n työssä tarkastellaan pääaihemallinnusalgoritmien muunnelmia: robustit aihemallit, aiheen luokittelumallit, dynaamiset aihemallit, hierarkkiset aihemallit, monikieliset aihemallit, tekstimallit sanajonona, multimodaaliset aihemallit [2 ] .

Todennäköisyyspohjaiset aihemallit perustuvat seuraaviin oletuksiin [15] [16] [17] [18] :

Kokoelman asiakirjojen järjestyksellä ei ole väliä
Sanojen järjestyksellä asiakirjassa ei ole väliä, asiakirja on pussi sanoja.
Useimmissa asiakirjoissa usein esiintyvät sanat eivät ole tärkeitä aiheen määrittämisen kannalta
Joukko asiakirjoja voidaan esittää valikoimana asiakirja-sana-pareja , , $(d, w)$ $d\in D$ $w\in {\mathit {W}}_{d}$
Jokainen aihe on kuvattu tuntemattomalla jakaumalla sanajoukossa $t\in T$ $p({\mathit {W}}|t)$ $w\in {\mathit {W}}$
Jokainen dokumentti on kuvattu tuntemattomalla jakaumalla joukolla aiheita $d\in D$ $p(t|d)$ $t\in T$
Ehdollisen riippumattomuuden hypoteesi $p(w|t,d)=p(w|t)$

Aihemallin rakentaminen tarkoittaa matriisien etsimistä ja keräämistä Monimutkaisemmissa todennäköisyyspohjaisissa aihemalleissa osa näistä oletuksista on korvattu realistisemmilla. $\Phi =||p(w|t)||$ $\Theta =||p(t|d)||$ ${\mathit {D}}$

Todennäköisyyspohjainen piilevä semanttinen analyysi

Thomas Hofmann ehdotti todennäköisyyspohjaista latenttia semanttista analyysiä (PLSA) vuonna 1999. Todennäköisyysmalli asiakirja-sanaparin esiintymiselle voidaan kirjoittaa kolmella vastaavalla tavalla:

p(d,w)=\summa _{{t\in T}}p(t)p(w|t)p(d|t)=\sum _{{t\in T}}p(d) p(w|t)p(t|d)=\sum _{{t\in T}}p(w)p(t|w)p(d|t)

missä on aihejoukko; $T$

p(t)

— tuntematon a priori aiheiden jakautuminen koko kokoelmassa;

p(d)

on a priori -jakauma asiakirjajoukolle, empiirinen arvio , jossa on kaikkien asiakirjojen kokonaispituus;

p(d)=n_{d}/n

n=\summa _{d}n_{d}

p(w)

on a priori -jakauma sanajoukolle, empiirinen estimaatti , jossa on sanan esiintymien lukumäärä kaikissa asiakirjoissa;

p(w)=n_{w}/n

n_{w}

w

Halutut ehdolliset jakaumat ilmaistaan Bayesin kaavan avulla: $p(w|t), p(t|d)$ $p(t|w),p(d|t)$

$p(w|t)={\frac {p(t|w)p(w)}{\sum _{{w'}}p(t|w')p(w')}});\qquad p (t|d)={\frac {p(d|t)p(t)}{\sum _{{t'}}p(d|t')p(t')}}.$

Aihemallin parametrien tunnistamiseksi dokumenttien kokoelmasta käytetään maksimitodennäköisyyden periaatetta , mikä johtaa toiminnallisuuden maksimoimisen ongelmaan [19]

$\sum _{d\in D}\sum _{w\in d}n_{dw}\ln \sum _{t\in \mathrm {T} }\varphi _{wt}\theta _{ td}\to \max _{\Phi ,\Theta },$

normalisointirajoitusten alla

$\sum _{w}p(w|t)=1,\;\sum _{t}p(t|d)=1,\;\sum _{t}p(t)=1,$

missä on sanan esiintymien lukumäärä asiakirjassa . Tämän optimointiongelman ratkaisemiseksi käytetään yleensä EM-algoritmia . $n_{{dw}}$ $w$ $d$

PLSA:n tärkeimmät haitat:

Parametrien määrä kasvaa lineaarisesti kokoelman dokumenttien määrän kanssa, mikä voi johtaa mallin ylisovitukseen .
Kun kokoelmaan lisätään uusi tosite , jakaumaa ei voida laskea samoilla kaavoilla kuin muissa dokumenteissa rakentamatta koko mallia uudelleen. $d$ $p(t|d)$

Dirichletin piilevä sijoitus

Latent Dirichlet Allocation (LDA) ehdotti David Bley vuonna 2003.

Tämä menetelmä eliminoi PLSA:n tärkeimmät haitat.

LDA-menetelmä perustuu samaan todennäköisyysmalliin

$p(d,w)=\sum _{{t\in T}}p(d)p(w|t)p(t|d),$

lisäoletuksilla:

dokumenttivektorit generoidaan samalla todennäköisyysjakaumalla normalisoiduilla -ulotteisilla vektoreilla; on kätevää ottaa tämä jakauma Dirichlet-jakaumien parametrisesta perheestä ; $\theta _{d}={\bigl (}p(t|d):t\in T{\bigr )}$ $|T|$ ${\mathrm {Dir}}(\theta ,\alpha ),\;\alpha \in {\mathbb {R}}^{{|T|}}$
aihevektorit generoidaan samalla todennäköisyysjakaumalla dimensioiden normalisoiduille vektoreille ; on kätevää ottaa tämä jakauma Dirichlet-jakaumien parametrisesta perheestä . $\phi _{t}={\bigl (}p(w|t):w\in W{\bigr )}$ $|W|$ ${\mathrm {Dir}}(\theta ,\beta ),\;\beta \in {\mathbb {R}}^{{|W|}}$

Gibbs-näytteenottoa , variaatio Bayesin päättelyä tai odotusprosessointimenetelmää käytetään LDA-mallin parametrien tunnistamiseen dokumenttien kokoelmasta .(Odotuksen leviäminen).

Katso myös

semanttinen
Dirichlet-

Muistiinpanot

↑ Koršunov, 2012 .
↑ 1 2 Vorontsov, 2013 .
↑ Ali10, 2010 .
↑ Vorontsov 12, 2012 .
↑ Papadimitriou, 1998 .
↑ Hofmann, 1999 .
↑ Blay 2003, 2003 .
↑ Templeton, 2011 .
↑ Jokerit, 2010 .
↑ Newman Block, 2006 .
↑ Griffiths, 2004 .
↑ Blevin, 2010 .
↑ Mimno, 2012 .
↑ Blay 2012, 2012 .
↑ Koršunov, 2012 , s. 229.
↑ Vorontsov, 2013 , s. 6.
↑ Vorontsov 13, 2013 , s. 5.
↑ VorontsovML, 2013 , s. 5.
↑ K. V. Vorontsov. Todennäköisyyspohjainen temaattinen mallinnus (venäjäksi) ? . Käyttöpäivä: 26. lokakuuta 2013. Arkistoitu alkuperäisestä 24. heinäkuuta 2014. (määrätön)

Kirjallisuus

Korshunov Anton, Gomzin Andrey. Luonnonkielisten tekstien temaattinen mallintaminen // Venäjän tiedeakatemian järjestelmäohjelmointiinstituutin julkaisut: aikakauslehti. – 2012.
Vorontsov K.V. Todennäköisyyspohjainen teemamallinnus // www.machinelearning.ru : web. – 2013.
Vorontsov K.V., Potapenko A.A. Todennäköisyyspohjaisten teemamallien säännönmukaisuus, robustisuus ja harvalukuisuus // Tietokonetutkimus ja mallintaminen : Journal. - 2012. - S. 693-706 .
Vorontsov K.V. Todennäköisyyspohjaisten aihemallien additiivinen regularisointi Esitys // www.machinelearning.ru : web. – 2013.
Vorontsov K.V. Todennäköisyyspohjaiset temaattiset mallit tekstidokumenttien kokoelmasta Esitys // www.machinelearning.ru : web. – 2013.
Mark Stavers, Tom Griffiths. Todennäköisyyspohjainen teemamalli. // Latentin semanttisen analyysin käsikirja / T. Landauer, D. McNamara, S. Dennis, W. Kintsch. - Psychology Press, 2007. - ISBN 978-0-8058-5418-3 . Arkistoitu 24. kesäkuuta 2013 Wayback Machineen
Daud Ali, Li Juanzi, Zhou Lizhu, Muhammad Faqir. Tiedon löytäminen suunnattujen todennäköisyyspohjaisten aihemallien avulla: kysely. Teoksessa Proceedings of Frontiers of Computer Science in China. // www.researchgate.net : web. – 2010.
Christos Papadimitriou, Prabhakar Raghavan, Hisao Tamaki, Santosh Vempala. Piilevä semanttinen indeksointi: todennäköisyysanalyysi // Proceedings of ACM PODS. - 1998. Arkistoitu 9. toukokuuta 2013.
Thomas Hoffman. Probabilistic latent Semantic Indexing // Proceedings of the Twenty-Second Annual International SIGIR Conference on Research and Development in Information Retrieval. - 1999. Arkistoitu 14. joulukuuta 2010.
David M. Blei, Andrew Y. Ng, Michael I. Jordan. Piilevä Dirichlet-allokaatio // Journal of Machine Learning Research. - 2003. Arkistoitu 1. toukokuuta 2012.
David Blei. Johdatus todennäköisyyspohjaisiin aihemalleihin // ACM:n viestintä . - 2012. - S. 77–84 . Arkistoitu alkuperäisestä 15. helmikuuta 2017.
David Blei, JD Lafferty. Aihemallit : web. - 2009. Arkistoitu 31. toukokuuta 2013.
David Blei, JD Lafferty. Johdatus todennäköisyyspohjaisiin aihemalleihin // Annals of Applied Statistics. - 2007. - S. 17-35 . - doi : 10.1214/07-AOAS114 . Arkistoitu alkuperäisestä 15. helmikuuta 2017.
David Mimno. Laskennallinen historiografia: Data Mining in a Century of Classics Journals // Journal on Computing and Cultural Heritage: Journal. - 2012. - doi : 10.1145/2160165.2160168 .
Matthew L. Jockers. Kuka on DH-blogikaverisi: DH-bloggaajien päivän yhteensovittaminen aihemallinnuksen avulla : verkko. – 2010.
E. Sekoita. Digitaalisten humanististen tieteiden ymmärtäminen : verkko. – 2011.
C. Templeton. Humanististen tieteiden aihemallinnus: katsaus. // Maryland Institute for Technology in the Humanities Blog : web. – 2011.
T. Gifits, M. Stivers. Tieteellisten aiheiden löytäminen // Proceedings of the National Academy of Sciences: aikakauslehti. - 2004. - doi : 10.1073/pnas.0307752101 . — PMID 14872004 .
T. Young, A Torget ja R. Mihalcea. Aihemallinnus historiallisissa sanomalehdissä // Kulttuuriperinnön, yhteiskuntatieteiden ja humanististen tieteiden kieliteknologian 5. ACL-HLT-työpajan julkaisuja. The Association for Computational Linguistics, Madison: aikakauslehti. - 2011. - S. 96-104 . Arkistoitu alkuperäisestä 27. maaliskuuta 2014.
S. Block. Teemme enemmän digitalisoinnilla – Johdatus aihemallinnukseen varhaisamerikkalaislähteissä // Common-place The Interactive Journal of Early American Life: Journal. – 2006.
D. Newman, S. Block. Todennäköisyyspohjainen ajankohtainen laajennus 1700-luvun sanomalehdissä // Journal of the American Society for Information Science and Technology: Journal. - 2006. - doi : 10.1002/asi.20342 .
C. Blevin. Martha Ballardin päiväkirjan teemamallinnus // historiantutkimus : verkko. – 2010.

Linkit

Luento: Aihemallinnus — K. V. Vorontsov // Data-analyysin koulu (videoluennot).
Luento 2: Aihemallinnus - K. V. Vorontsov // Data-analyysin koulu (videoluennot).
Temaattinen mallinnus . (määrätön)
Asiakirjakokoelmat aihemallinnusta varten . (määrätön)
Täysin harvat aihemallit (käännös) / Täysin harvat aihemallit . (määrätön)
Tutkimus todennäköisyyspohjaisista aihemalleista . (määrätön)
Aihemallit tekstikokoelmalle . (määrätön)
Bayesilaiset koneoppimismenetelmät (luentokurssi, D. P. Vetrov, D. A. Kropotov) . (määrätön)
Heatlton, Clay Topic Modeling in Humanities. Yleinen arvostelu. . Maryland Institute for Technology in Humanities. (määrätön)
Aihemallinnuksen soveltaminen uutisanalyysiin ja arvosteluihin. Video Alice Ohin Google Tech Talk -esityksestä aiheen mallintamisesta piilevän Dirichlet-allokoinnin kanssa
Modeling Science: Tieteellisen tutkimuksen dynaaminen temaattinen mallintaminen. Video David M. Blein Google Tech Talk -esityksestä
Valtiotieteen automatisoitu aihemalli. Video Brandon Stewartin esityksestä Tools for Text Workshopissa 14. kesäkuuta 2010
Luento: Topic Modeling - David Blay 2009 Videoluento Princeton University
Todennäköisyyspohjaisten aihemallien laillistaminen tulkittavuuden lisäämiseksi ja aiheiden määrän määrittämiseksi Dialogi 2014
Kevyt aihemallit, joissa on merkittäviä sanoja

Ohjelmistot ja ohjelmistokirjastot

Malet (ohjelma)
Stanfordin yliopiston aihemallinnustyökalupakki
GenSim - "teemasimulaatio ihmisille"
LDA C# LDA Infer.NETissä

luonnollisen kielen käsittely
Yleiset määritelmät	Tekstien runko puhekorpus Lopeta sanat pussi sanoja AI täydellisyys N-grammaa Biggramin salaus trigrammi
Tekstianalyysi	Tekstin segmentointi Osittainen merkintä Pinnan jäsennys Yhdistetty tekstinkäsittely Kollokaatioiden purkaminen johdettu Lemmatisaatio Nimetyn kokonaisuuden tunnistus Resoluutio Tekstin tunneanalyysi Käsitteen purkaminen jäsentäminen Leksikaalisen polysemian ratkaisu Pura terminologia Tietojen talteenotto Kielen tunnistaminen Tapauksen määritelmä
Viittaus	lauseiden purkaminen Abstrakti sukupolvi Usean asiakirjan viittaus Tekstin yksinkertaistaminen
Konekäännös	automatisoitu Hybridi Interlingual Sääntöön perustuva Esimerkkien perusteella Sanakirjapohjainen Perustuu muunnokseen hermostoa Tilastollinen Synkroninen
Tunnistaminen ja tiedonkeruu	Puheentunnistus puhesynteesi Optinen hahmon tunnistus Tekstin luominen
Temaattinen malli	Pachinkon sijoitus Piilevä Dirichlet-sijoitus Piilevä semanttinen analyysi
Vertaisarviointi	Esseiden automaattinen arviointi Konkordanssi Ennustava tekstinsyöttö Kieliopin tarkistus Oikoluvun tarkistus Syntaksin arvaus
Luonnollisen kielen käyttöliittymä	virtuaalinen avustaja Virtuaalinen keskustelukumppani Kysymys ja vastaus järjestelmä Äänikäyttöliittymä Interaktiivinen kirjallisuus