Wikisanakirja

Wikisanakirja on vapaasti  päivitettävä monikielinen monikielinen sanakirja ja tesaurus , joka perustuu wikimoottoriin . Yksi Wikimedia Foundationin projekteista . Ilmestyi alun perin englanniksi 12. joulukuuta 2002 .

Sanakirja sisältää kieliopillisia kuvauksia, sanojen tulkintoja ja käännöksiä . Lisäksi artikkelit voivat heijastaa tietoa sanojen etymologiasta , foneettisista ominaisuuksista ja semanttisista suhteista. Näin ollen Wikisanakirja on yritys yhdistää kielioppi- , selitys- , etymologiset ja monikieliset sanakirjat sekä tesaurus yhdeksi tuotteeksi.

Wikisanatietoa käytetään aktiivisesti erilaisten tekstin ja puheen koneelliseen käsittelyyn liittyvien ongelmien ratkaisemisessa .

Leksikografinen käsite

Wikisanakirjan eri kieliosien sekä Wikimediasäätiön sanaston ja muiden projektien avustajien välisen keskinäisen suhteen ansiosta kunkin projektin osallistujat voivat käyttää muiden kielten puhujien luomia käsitteitä, työkaluja ja leksikografisia materiaaleja. Sanakirjan eri kieliosien työskentelyn aikana muodostui monimutkainen käsite universaalista leksikografisesta resurssista, joka tuli ensimmäistä kertaa mahdolliseksi sähköisten tekniikoiden ansiosta. Käsite olettaa viime kädessä täydellisen, kattavan kuvauksen kaikkien luonnollisten (ja keinotekoisten peruskielten) kaikista leksikaalisista yksiköistä, joilla on kirjoitettu kieli. Kuvauksen täydellisyys tarkoittaa tiedon saatavuutta leksikaalisen yksikön fonetiikasta, morfologiasta, syntaktisista ja semanttisista ominaisuuksista, sen etymologiasta, yhteensopivuudesta ja fraseologiasta. Tämän käsitteen toteutuksen täydellisyys ja johdonmukaisuus voivat vaihdella projektin eri kieliosissa.

Jokaisessa kieliosiossa "otsikkokieli" on keskeinen - kaikki artikkelit kirjoitetaan yksinomaan sillä, lisäksi tavoitteena on antaa tämän kielen sanojen ja muiden yksiköiden käännöksiä mahdollisimman monelle muille kielille. Muiden kielten sanat käännetään pääsääntöisesti vain tälle "nimikielelle". Joten venäjänkielisessä wikisanakirjassa venäjän sanoille annetaan tulkintoja ja käännöksiä vieraille kielille, vieraille sanoille annetaan tulkintojen sijasta käännökset venäjäksi .

Morfologiaa kuvattaessa käännöksestä pyritään antamaan mahdollisimman täydellinen kuva, mukaan lukien käännösluokan osoitus. Erityisesti venäläisten lekseemien morfologiset tiedot annetaan A. A. Zaliznyakin ehdottaman luokituksen mukaisesti .

Wikisanakirjan täydentämiseksi on luotu laaja bibliografia , ja englanninkielinen Wikisanakirja on kehittänyt säännöt termin sisällyttämiseksi sanakirjaan (katso Sisällytyksen kriteerit ). Toisin kuin venäläisessä Wikipediassa , jossa aineiston valinnassa etusija on arvovaltaisilla lähteillä [Note 1] , venäjän Wikisanakirjassa artikkelin toimittajan [Note 2] tekemä sanankäytön analyysi vallitsee .

Thesaurus

Wikisanakirja sisältää seuraavat semanttiset suhteet: synonyymit , antonyymit , hypernyymit , hyponyymit , kohyponyymit , holonyymit , meronyymit , paronyymit .

Wikipedia ja Wikisanakirja

Wikisanakirja ei sisällä yksityiskohtaisia ​​kuvauksia tosiseikoista ja tietosanakirjasta. Wikisanakirjassa on kuitenkin ainutlaatuista tietoa, jota ei löydy Wikipediasta: kollokaatiot, sanonnat, lyhenteet, lyhenteet, kirjoitusvirheiden kuvaukset, yksinkertaistetut/korruptoituneet sanamuodot/ääntämiset, kiistanalaiset käyttötapaukset, protologismit , onomatopoeia , erilaiset tyylit (esim. alueet [1] . Näin ollen Wikipedia ja Wikisanakirja täydentävät toisiaan.

Wikisanakirja on samanlainen kuin Wikipedia siinä mielessä, että (1) Wikisanakirjassa on sisäisiä linkkejä sanoja koskeviin merkintöihin, (2) on luokkia, (3) interwikit linkittävät samaa sanaa koskeviin merkintöihin vieraan kielen sanakirjassa [1] .

Venäjän osio

Venäjän wikisanakirjan kehityksen dynamiikka

Wikisanakirjan venäjänkielinen osio luotiin keväällä 2004 . Puolentoista vuoden ajan se ei käytännössä kehittynyt, vaan täydentyi satunnaisesti, pääasiassa heikkolaatuisella materiaalilla. Tilanne alkoi muuttua loppuvuodesta 2005  - alkuvuodesta 2006 .

Vuonna 2006 Schwallexin ensimmäinen ylläpitäjä nimitettiin , artikkelien määrä kasvoi lähes nelinkertaiseksi edelliseen vuoteen verrattuna, luotiin tehokkaat työkalut morfologian kuvaamiseen ja kehittynyt semanttisten kategorioiden järjestelmä alkoi muotoutua.

Syksyyn 2006 mennessä venäjänkielisen wikisanakirjan merkintöjen määrä oli saavuttanut 10 000; sitten, kiitos botin luomisen, joka käyttää Wikisanakirjan muiden osien sanakirjoja luomaan tyhjiä artikkeleita venäjänkieliseen osioon, noin 70 000 artikkelia lisättiin puolentoista kuukauden aikana. 7. marraskuuta 2006 Wikisanakirja ylitti 80 000 rajan, ja 10. joulukuuta 2006 saavutettiin 100 000 merkinnän virstanpylväs. 17.12.2018 artikkelien määrä ylitti 1 000 000. Aktiivisia osallistujia oli noin 230.

Toisin kuin perinteisten sanakirjojen kohdalla, Wikisanakirjan täydellisyyttä ei voida riittävästi arvioida muodollisella merkintöjen lukumäärällä. Automaattinen laskuri ei tee eroa puolityhjien levyjen ja todella informatiivisten artikkeleiden välillä, eikä se myöskään ota huomioon kieltensisäistä ja kieltenvälistä homonyymiaa. Esimerkiksi sanakirjamerkintä boori on lueteltu yhtenä merkintänä, sillä välin tässä artikkelissa kuvataan useita homonyymejä venäjän kielen lekseemejä sekä samannimiä lekseemejä muilla kielillä (bulgaria, tatari), - perinteisissä sanakirjoissa tämä aineisto järjestettäisiin ja otettaisiin huomioon usean merkinnän muodossa.

Vertailu muihin wikisanakirjoihin

Elokuusta 2008 lähtien venäjänkielinen Wikisanakirja nousi tietokannan koon suhteen ykköseksi kaikkien wikisanakirjojen joukossa [3] . Samaan aikaan venäjänkielisen wikisanakirjan merkintöjen määrä ei ole suurin [4] . Tämä johtuu osittain siitä, että projekteissa, joissa on enemmän artikkeleita kuin venäjän wikisanakirjassa, artikkeleiden keskikoko voi olla pienempi, kuten voidaan nähdä tilastosivustolla [5] .

Lisäksi venäjänkielinen Wikisanakirja sisältää muihin Wikisanakirjan osioihin verrattuna suuremman määrän lisätietoa, mukaan lukien hakutaulukot, luettelot usein esiintyvistä sanoista jne. (toisin kuin sanakirjamerkinnät, jotka muodostavat ns. päänimitilan, tällaiset tiedot ovat sijoitettu osiin ”, “Indeksit” jne.). Merkittävä osa venäjän wikisanakirjan merkinnöistä on edelleen robottien luomia tyhjiä kohtia. Vaikka joskus voi kohdata kritiikkiä suuresta määrästä tyhjiä artikkeleita, tällaisella esimerkinnällä on monia etuja. Ensinnäkin se auttaa luomaan artikkeleita nopeammin sisällyttämällä valmiiksi joitain tietoja, kuten kuvattavan sanan puheosan. Toiseksi artikkelien rakennetta standardoidaan. Mallien laajan käytön ansiosta (jotka yleensä botit jättävät heti alas luodessaan artikkeleita automaattisesti), on mahdollista muuttaa keskitetysti useiden artikkelien ulkoasua kerralla. Suuri määrä malleja auttaa myös suorittamaan jo luotujen artikkeleiden automaattista lisämuokkausta - esimerkiksi laskemaan käännöksen automaattisesti valmiiksi valmistettujen sanakirjojen mukaan (koska robottien on helpompi navigoida artikkelin rakenteessa on jo merkitty erikoisrakenteilla, ei ihmiskielellä). Venäjän wikisanakirjan erottuva piirre on hyvin kehittynyt kehityskonsepti (joka löytyy pääsivulta). Hyvin kehittyneen konseptin ja mallipohjien laajan käytön ansiosta venäjän wikisanakirjan artikkelit näyttävät enemmän samantyyppisiltä kuin monissa muissa projekteissa (osien määrä, järjestys, jossa ne näkyvät, kunkin osion suunnittelu ovat pohjimmiltaan sama).

Kirjoittajat laskivat kahdessa Wikisanakirjassa (kuvitettu) venäjänkielisten sanojen sanakirjamerkintöjen määrän, tulkintojen kanssa ja ilman tulkintoja. Englanninkielisen wikisanakirjan toimittajien politiikka (ei luoda tyhjiä artikkeleita) vahvistettiin: vain 5,57% sanakirjamerkinnöistä venäjän sanoista ilman tulkintaa. Venäjän wikisanakirjassa on 60,39% tällaisista artikkeleista. Kuitenkin venäjänkielisessä Wikisanakirjassa (vuodesta 2011) on lähes 3,4 kertaa enemmän merkintöjä, joissa on tulkintoja venäjän sanoille kuin englanninkielisessä Wikisanakirjassa: 53,6 tuhatta vastaan ​​15,7 tuhatta [2] .

Sovellus NLP - tehtävissä

Wikisanakirjan leksikografisen tiedon käyttämiseksi automaattisen tekstin ja puheenkäsittelyn ongelmien ratkaisemisessa  on välttämätöntä muuntaa sanakirjamerkintöjen tekstit ( puolistrukturoitu data [6] ) koneellisesti luettavaan muotoon [7] [8] [9] .

Tietojen poimiminen wikisanakirjoista ei ole helppo tehtävä. Seuraavat vaikeudet voidaan tunnistaa [10] : (1) säännölliset ja usein tapahtuvat muutokset sekä tiedoissa että artikkeleiden rakenteessa, (2) eri wikisanakirjoilla on erilainen artikkelien rakenne ja muoto [Huomio 3] , (3) wikitekniikka on alun perin keskittynyt helppokäyttöisyyteen ihmisten, ei koneellisesti.

Eri wikisanakirjoille on olemassa useita jäsentimiä [11] :

• DBpedia Wikisanakirja  on yksi DBpedia -projektin laajennuksista , tiedot on poimittu englannin, ranskan, saksan ja venäjän wikisanakirjoista. Poimittu: kieli, puheen osa, tulkinta, semanttiset suhteet, käännökset. Tiedon poimimiseen käytetään seuraavia: sanakirjamerkintärakenteen deklaratiivinen kuvaus [12] , säännölliset lausekkeet [13] ja FST - eräänlainen tilakone [14] .
• JWKTL (Java Wiktionary Library) - API englannin ja saksan wikisanakirjojen dataan [15] . Poimittu: kieli, puheen osa, tulkinta, lainaukset, semanttiset suhteet, etymologia ja käännökset. Ohjelma on saatavilla ei-kaupalliseen käyttöön.
• wikokit  on jäsentäjä englannin ja venäjän wikisanakirjoille [16] . Poimittu: kieli, sanan osa, tulkinta, lainaukset [17] (vain venäjänkieliselle Wikisanakirjalle), semanttiset suhteet [18] ja käännökset. Ohjelman lähdekoodi on saatavilla avoimen monilisenssin ehdoilla .

Wikisanakirjoilla ratkaistaan ​​erilaisia ​​tekstin ja puheen käsittelyyn liittyviä tehtäviä [19] :

• sääntöihin perustuva konekäännös hollannin ja afrikaansin välillä ; Tietoja englannin ja hollannin wikisanakirjoista ja kahdesta wikipediasta käytetään Apertum -järjestelmän puitteissa [20] ;
• koneellisesti luettavan sanakirjan luominen NULEX-jäsentimillä, joka integroi avoimet kieliresurssit: Englanti Wiktionary, WordNet ja VerbNet [21] . Substantiiville puheosa ja monikkomuoto on poimittu englanninkielisestä Wikisanakirjasta ja verbeille aikamuoto. Näytön kaapimista käytettiin tietojen poimimiseen Wikisanakirjasta ;
• puheentunnistus ja synteesi , jossa Wikisanakirja toimii tietolähteenä ääntämissanakirjan automaattiselle rakentamiselle [22] . Sana-ääntämisparit on poimittu (transkriptio IPA -järjestelmässä ) tšekin, englannin, ranskan, saksan, puolan ja espanjan wikisanakirjoista [Note 4] . Tarkastuksessa suurin määrä virheitä osoittautui englanninkielisestä Wikisanakirjasta poimituissa transkriptioissa [23] ;
• ontologioiden [24] ja tietokantojen [25] rakentaminen ;
• ontologiakartoitus [26] ;
• tekstin yksinkertaistaminen . [27] : ssä sanojen monimutkaisuus on arvioitu Wikisanakirjan tietojen perusteella. Englanninkielisen wikisanakirjan sanasta poimitaan seuraavat tiedot: sanakirjamerkinnän koko, puheen osien määrä, merkityksien määrä ja käännösten määrä. [27] :n kirjoittajat ehdottivat, että yksinkertaisempia, yksinkertaisempia ja yleisempiä sanoja olisivat ne, joilla on enemmän merkityksiä (eli artikkelin koko on suurempi), enemmän puheenosia ja enemmän käännöksiä. Lisäksi tekstistä löydetyt "monimutkaiset" sanat on parafrasoitava, löydettävä enemmän "yksinkertaisia" vastineita, mikä johtaa tekstin yksinkertaistamiseen (mukauttamiseen);
• osittainen merkintä . Vuonna (Lee et al., 2012) [28] englanninkielisen Wikisanakirjan tietojen perusteella POS-taggerit rakennettiin kahdeksalle kielelle "huonoilla kieliresursseilla" käyttämällä piilotettuja Markovin malleja . [Huomautus 5]
• tekstimielianalyysi [29] .

Katso myös

• Tatoeba

Muistiinpanot

1. ↑ Wikipedia: Luotettavat lähteet

   Wikipedian artikkeleiden tulee perustua julkaistuihin arvovaltaisiin lähteisiin .

2. ↑ Wikisanakirja: Leksikografinen käsite

   Jos jonkin kieliyksikön jostakin kuvatuista ominaisuuksista on erimielisyyksiä, etusija (todisteen suhteen) annetaan korpuslähteille.

3. ↑ Vertaa esimerkiksi englanninkielisen ja venäjän wikisanakirjan artikkeleiden rakennetta ja muotoilusääntöjä .
4. ↑ Jos sanakirjamerkinnässä on useita transkriptioita, otetaan ensimmäinen.
5. ↑ Ohjelman lähdekoodi ja osittaisen taggauksen tulokset ovat saatavilla verkossa: https://code.google.com/p/wikily-supervised-pos-tagger Arkistoitu 14. huhtikuuta 2013 Wayback Machinessa

1. ↑ 12 Zesch et al, 2008 , s. 2.
2. ↑ 1 2 Smirnov et ai., 2012 .
3. ↑ Wikisanakirjan tilastot: Tietokannan koko . Käyttöpäivä: 28. lokakuuta 2010. Arkistoitu alkuperäisestä 10. elokuuta 2011. (määrätön)
4. ↑ Wikisanakirjatilastot . Haettu 14. helmikuuta 2010. Arkistoitu alkuperäisestä 5. tammikuuta 2009. (määrätön)
5. ↑ Wikisanakirjan tilastot: Tavua artikkelia kohti . Haettu 14. helmikuuta 2010. Arkistoitu alkuperäisestä 10. elokuuta 2011. (määrätön)
6. ↑ Meyer ja Gurevych, 2012 , s. 140.
7. ↑ Zesch et al, 2008 , kuva 1, s. neljä.
8. ↑ Meyer ja Gurevych, 2010 , s. 40.
9. ↑ Krizhanovsky, Transformation, 2010 , s. yksi.
10. ↑ Hellmann ja Auer, 2013 , s. 16 PDF-muodossa, s. 302.
11. ↑ Hellmann et al, 2012 , Taulukko 1, s. 3.
12. ↑ Hellmann et al, 2012 , s. 8-9.
13. ↑ Hellmann et al, 2012 , s. kymmenen.
14. ↑ Hellmann et al, 2012 , s. yksitoista.
15. ↑ Zesch et al, 2008 .
16. ↑ Krizhanovsky, Transformation, 2010 .
17. ↑ Krizhanovski, 2011 .
18. ↑ Krizhanovsky, vertailu, 2010 .
19. ↑ Smirnov et ai., 2012 , s. 233-234.
20. ↑ Otte ja Tyers, 2011 .
21. ↑ McFate ja Forbus, 2011 .
22. ↑ Schlippe ym., 2012 .
23. ↑ Schlippe et ai., 2012 , s. 4804.
24. ↑ Meyer ja Gurevych, 2012 .
25. ↑ ConceptNet 5 . Haettu 17. huhtikuuta 2013. Arkistoitu alkuperäisestä 19. huhtikuuta 2013. (määrätön)
26. ↑ Lin ja Krizhanovsky, 2011 .
27. ↑ 12 Medero ja Ostendorf, 2009 .
28. ↑ Li et al, 2012 .
29. ↑ Chesley et al, 2006 .

Kirjallisuus

• Krizhanovsky A. Wikisanakirjasanakirjamerkinnän rakenteen muuttaminen relaatiotietokannan taulukoiksi ja suhteiksi  : preprint. – 2010.
• Krizhanovsky A. Venäläisten ja englanninkielisten wikisanakirjojen tesaurusten vertailu koneellisesti luettavaan muotoon  : preprint. – 2010.
• Krizhanovsky A. Korpujen ja digitaalisten kirjastojen käytön arviointi venäjän wikisanakirjassa // Kansainvälisen konferenssin "Corpus Linguistics-2011" aineistoa. - Pietari. : Pietarin osavaltio. Yliopisto, Filologinen tiedekunta, 2011. - P. 217-222. — 348 s. - ISBN 978-5-8465-0005-5 .
• Smirnov A. V., Kruglov V. M., Krizhanovsky A. A., Lugovaja N. B., Karpov A. A., Kipyatkova I. S. Venäjän WordNet-sanaston ja wikisanakirjojen kvantitatiivinen analyysi // Proceedings of SPIIRAS. - Pietari. , 2012. - T. 23. - S. 231-253.
• Chesley P., Vincent B., Li Xu, Srihari RK Verbien ja adjektiivien käyttäminen blogitunnelman automaattiseen luokitukseen // Koulutus. - 2006. - T. 580. - S. 233-235.
• Hellmann S., Brekle J., Auer S. Leveraging the Crowdsourcing of Lexical Resources for Bootstrapping a Linguistic Data Cloud  : Proc. Joint Int. Semantic Technology Conference (JIST), 2.-4.12. - Nara, Japani, 2012.
• Hellmann S., Auer S. Kohti verkkomittakaavaisen yhteistyöhön perustuvaa tiedon hankintaa // Ihmisten verkko kohtaa NLP:n / Gurevych, Iryna; Kim, Jungi. - Springer, 2013. - S. 287-313. — 378 s. - (Luonnollisen kielen käsittelyn teoria ja sovellukset). - ISBN 978-3-642-35084-9 .
• Li S., Graça JV, Taskar B. Wiki-ohjattu puheosan koodaus  : Proceedings of the 2012 Joint Conference on Empiirical Methods in Natural Language Processing and Computational Natural Language Learning. - Jeju Island, Korea: Association for Computational Linguistics, 2012. - S. 1389-1398 . Arkistoitu alkuperäisestä 22. toukokuuta 2013.
• Lin F., Krizhanovsky A. Monikielinen ontologiavastaavuus SPARQL-päätepisteen kautta saatavilla olevaan Wikisanakirjaan // Proc. Venäjän 13. digitaalisten kirjastojen konferenssissa RCDL'2011. 19.-22.10., Voronezh, Venäjä. - 2011. - S. 19-26.
• McFate C., Forbus K. NULEX: An Open-License Broad Coverage Lexicon // Laskennallisen lingvistiikkayhdistyksen 49. vuosikokous: Human Language Technologies, konferenssin aineisto, 19.-24. kesäkuuta 2011, Portland, Oregon, USA - Lyhyet paperit. - Computer Linguistics Association, 2011. - S. 363-367. - ISBN 978-1-932432-88-6 .
• Medero J. ja Ostendorf M. Sanaston vaikeuden analyysi wikisanakirjan avulla // Proc. SLATE Workshop. – 2009.
• Meyer CM ja Gurevych I. Kullan arvoinen tai vielä yksi resurssi - Wikisanakirjan, OpenThesaurusen ja GermaNetin vertaileva tutkimus  : Proc. 11. kansainvälinen älykkään tekstinkäsittelyn ja laskennallisen lingvisiikan konferenssi. - Iasi, Romania, 2010. - S. 38-49 . Arkistoitu alkuperäisestä 1. joulukuuta 2017.
• Meyer CM ja Gurevych I. OntoWiktionary – Ontologian rakentaminen yhteiskäyttöisen online-sanakirjan wikisanakirjasta // Puoliautomaattinen ontologian kehittäminen: prosessit ja resurssit / MT Pazienza ja A. Stellato. - IGI Global, 2012. - S. 131-161. — ISBN 978-1-4666-0188-8 .
• Otte P., Tyers FM Nopea sääntöpohjainen konekäännös hollannin ja afrikaansin välillä // EAMT 2011: proc. European Association for Machine Translation 15. konferenssista / Mikel L. Forcada, Heidi Depraetere, Vincent Vandeghinste. - Leuven, Belgia, 2011. - S. 153-160.
• Schlippe T., Ochs S., Schultz T. Grafeemista foneemiin mallin luominen indoeurooppalaisille kielille // Proceedings of The 37th International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2012), Kioto, Japani , 25-30 maaliskuuta - 2012. - S. 4801-4804.
• Zesch T., Müller C., Gurevych I. Leksisen semanttisen tiedon erottaminen Wikipediasta ja Wikisanakirjasta.  :Proc. 6. kansainvälisessä kieliresursseja ja arviointia käsittelevässä konferenssissa. - Marrakech, Marokko, 2008.

Linkit

• Wikisanakirja
• Venäjän wikisanakirja

Sosiaalisissa verkostoissa	Viserrys
Sanakirjat ja tietosanakirjat	iso kiinalainen