Taajuussanakirja

Taajuussanakirja (tai taajuusluettelo) on joukko tietyn kielen (tai alikielen) sanoja sekä tietoja niiden esiintymistiheydestä . Sanakirja voidaan lajitella frekvenssin, aakkosjärjestyksen (sitten jokaiselle sanalle ilmoitetaan sen esiintymistiheys), sanaryhmien mukaan (esimerkiksi yleisimpien sanojen ensimmäinen tuhat, jota seuraa toinen jne.), tyypillisyyden mukaan ( sanat, jotka ovat yleisiä useimmissa teksteissä) jne. Taajuuslistoja käytetään kieltenopetukseen, uusien sanastojen luomiseen, laskennallisiin lingvistisiin sovelluksiin, kielitypologian tutkimukseen jne.

Taajuusluetteloiden rakentaminen

Yleensä taajuussanakirjat rakennetaan tekstirunkojen pohjalta : otetaan tekstijoukko , joka edustaa kieltä kokonaisuutena, jollekin aihealueelle tai tietylle tekijälle (ks. Gribojedovin Frequency Dictionary ) ja sanamuodot, lemmat ja osat. siitä erotetaan puhe (jälkimmäiset poimitaan, jos korpuksessa on morfologisia merkkejä).

Taajuusluetteloiden luomisen ongelmat ovat:

• toistettavuus (ovatko tulokset samat toisessa samanlaisessa tapauksessa),
• yksittäisten sanojen tiheyspurskeet (sanan esiintymistiheys yhdessä tekstissä voi vaikuttaa sen sijaintiin esiintymistiheysluettelossa),
• vaikeudet harvempien sanojen sijainnin määrittämisessä, mikä tekee mahdottomaksi luokitella niitä järkevästi; esimerkiksi sana roska on 20 000 yleisimmän sanan joukossa, kun taas sana murska on 40 000 suurimman listan ulkopuolella.

Kaikki nämä ongelmat johtuvat siitä, että tilastollisesti katsottuna kielessä on suuri joukko harvinaisia ​​tapahtumia ( Zipfin laki ), minkä seurauksena pieni määrä sanoja esiintyy hyvin usein, ja suurin osa sanoilla on hyvin alhainen taajuus. Sanan ja (yleisin sana venäjän kielessä) esiintymistiheys on noin 10 kertaa suurempi kuin sanan noin taajuus , mikä puolestaan ​​esiintyy 100 kertaa useammin kuin tavalliset sanat, kuten matkailu, vanhuus tai muoti .

Hobitti -metaforaa voidaan käyttää kuvaamaan frekvenssipurskeita (Adam Kilgarriff käytti alun perin suhteellisen harvinaista englanninkielistä sanaa whelk, eräänlainen merinilviäinen , englanninkielinen whelk  ) : jos korpuksessa on useita hobiteista kertovia tekstejä, käytetään tätä sanaa. melkein joka lauseessa. Tämän seurauksena sen esiintymistiheys näissä teksteissä on verrattavissa funktionaalisten sanojen esiintymistiheyteen, mutta suuren korpuksen taajuusluettelossa, joka sisältää tällaisia ​​tekstejä, tämä sana tulee olemaan uskomattoman korkea. Tällaiset taajuuspurskeet voidaan arvioida käyttämällä variaatiokerrointa : keskihajonnan suhdetta keskitaajuuteen .

Rungon vertailu

Taajuussanakirjat tarjoavat mahdollisuuden vertailla kahta runkoa, jotta voidaan määrittää kummallekin ominaisimmalle sanalle. Joskus sanakirjat osoittavat "absoluuttisen taajuuden", toisin sanoen sanan esiintymistiheyden korpuksessa. Koska korpusten koot voivat olla erilaisia, on yleensä osoitettu suhteellinen esiintymistiheys (kutsutaan yleensä yksinkertaisesti "taajuus"), eli korpuksessa olevan sanan esiintymisten lukumäärän suhde sanojen kokonaismäärään. korpuksessa. Joskus molemmat arvot annetaan. Suhteellinen esiintymistiheys ilmoitetaan joskus prosentteina, ppm:nä tai miljoonasosina ( englanniksi  ipm, instances per million Words ). Esimerkiksi sanan ja taajuus on 0,03 (3 % tai 30 ‰ eli noin 30 000 sanaa miljoonassa, sana vanhuus  - 0,00003 (0,003 % tai 0,03 ‰ eli noin 30 sanaa miljoonassa).

Voit määrittää avainsanajoukon, joka erottaa yhden korpuksen toisesta, käyttämällä erilaisia ​​tilastollisia mittareita : chi -neliö , todennäköisyyssuhdetesti jne .  

Katso myös

• Korpuslingvistiikka
• Yleisimmät sanat englanniksi
• Swadeshin lista
• Taajuus
• Venäjän kansallinen korpus
• Joynen kerroin

Kirjallisuus

• Adam Kilgarriff. Taajuuksien lisääminen sanakirjaan  // International Journal of Lexicography. - 1997. - Nro 10 (2) . - s. 135-155.
• Lyashevskaya O. N., Sharov S. A. Nykyaikaisen venäjän kielen taajuussanakirja (perustuu venäjän kielen kansalliskokouksen aineistoihin) . - M. : Azbukovnik, 2009. - 1087 s. - ISBN 978-5-91172-024-7 .
• Taajuussanakirja // Suuri Neuvostoliiton Encyclopedia  : [30 nidettä]  / ch. toim. A. M. Prokhorov . - 3. painos - M .  : Neuvostoliiton tietosanakirja, 1969-1978.
• Venäjän kielen taajuussanakirja / Toim. L.N. Zasorina. - M . : Venäjän kieli, 1977.
• M. Yu. Lermontovin kielen taajuussanakirja // Lermontov Encyclopedia / Neuvostoliiton tiedeakatemia. In-t rus. palaa. (Pushkin. House); Tieteellinen toim. kustantamo ”Pöllöt. Encycle.". - M . : Sov. Encycl., 1981. - S. 717-774.
• Sharov S.A. Taajuussanakirja .
• Steinfeldt E. A. Nykyaikaisen venäjän kirjallisen kielen taajuussanakirja. - M. , 1963.

Linkit

• "Vanhan ja Uuden testamentin" taajuussanakirjat (Hae "teologi" "Vanhan ja Uuden testamentin" teksteistä).