Puheentunnistus

Puheentunnistus  on automaattinen prosessi, jossa puhesignaali muunnetaan digitaaliseksi informaatioksi (esimerkiksi tekstidataksi ). Käänteinen ongelma on puhesynteesi .

Historia

Ensimmäinen puheentunnistuslaite ilmestyi vuonna 1952 , se pystyi tunnistamaan henkilön puhumat numerot . [1] Vuonna 1962 IBM Shoebox esiteltiin New Yorkin tietokoneteknologiamessuilla .

Vuonna 1963 Yhdysvalloissa esiteltiin Sperry Corporationin insinöörien kehittämiä miniatyyritunnistuslaitteita, joissa oli kuituoptinen muistilaite nimeltä "Septron" ( Sceptron , mutta lausutaan [ˈseptrɑːn] ilman "k":tä) , [2] yhden tai toisen toimintosarjan suorittaminen tietyille ihmisoperaattorin puhumille lauseille. "Septronit" soveltuivat käytettäväksi kiinteän (langallisen) viestinnän alalla äänivalinnan automatisoimiseksi ja sanelun tekstin automaattiseen tallentamiseen teletypellä , voidaan käyttää sotilasalalla ( sotilasvarusteiden monimutkaisten näytteiden ääniohjaukseen ), ilmailussa . (luo "älykäs avioniikka ", joka reagoi käskyihinohjaajan ja miehistön jäsenten automatisoidut ohjausjärjestelmät jne. [2] [3] [4] ohjaussignaalit koneen laitteisiin ja yksitavuinen ääni, joka vastaa hänelle koskien asiaa mahdollisuus toteuttaa hänen asettamansa tehtävä [5] .

Kaupalliset puheentunnistusohjelmat ilmestyivät 1990-luvun alussa. Yleensä niitä käyttävät ihmiset, jotka eivät käsivamman vuoksi pysty kirjoittamaan suurta määrää tekstiä. Nämä ohjelmat (kuten Dragon NaturallySpeaking, VoiceNavigator) kääntää käyttäjän äänen tekstiksi ja vapauttaa näin hänen kätensä. Tällaisten ohjelmien käännösvarmuus ei ole kovin korkea, mutta se paranee vähitellen vuosien mittaan.

Mobiililaitteiden laskentatehon kasvu mahdollisti puheentunnistustoiminnolla varustettujen ohjelmien luomisen niille. Tällaisten ohjelmien joukossa on syytä huomata Microsoft Voice Command -sovellus, jonka avulla voit työskennellä monien sovellusten kanssa äänelläsi. Voit esimerkiksi ottaa musiikin toiston käyttöön soittimessa tai luoda uuden asiakirjan.

Puheentunnistuksen käyttö on yleistymässä eri liiketoiminta-alueilla, esimerkiksi klinikalla lääkäri voi lausua diagnooseja, jotka kirjataan välittömästi sähköiseen korttiin. Tai toinen esimerkki. Varmasti jokainen ainakin kerran elämässään haaveili käyttää ääntään sammuttaakseen valot tai avatakseen ikkunan. Viime aikoina automaattisia puheentunnistus- ja synteesijärjestelmiä on käytetty yhä enemmän vuorovaikutteisissa puhelinsovelluksissa. Tässä tapauksessa kommunikaatio ääniportaalin kanssa tulee luonnollisemmaksi, koska valinta siinä voidaan tehdä paitsi äänivalinnan myös äänikomentojen avulla. Samaan aikaan tunnistusjärjestelmät ovat kaiuttimista riippumattomia, eli ne tunnistavat kenen tahansa äänen.

Seuraavana askeleena puheentunnistusteknologioissa voidaan pitää ns. Silent Access Interface -rajapintojen (Silent speak Interfaces, SSI) kehittämistä. Nämä puheenkäsittelyjärjestelmät perustuvat puhesignaalien vastaanottamiseen ja käsittelyyn artikuloinnin varhaisessa vaiheessa. Tämä puheentunnistuksen kehitysvaihe johtuu nykyaikaisten tunnistusjärjestelmien kahdesta merkittävästä puutteesta: liiallisesta meluherkkyydestä sekä selkeän ja selkeän puheen tarpeesta tunnistusjärjestelmää käytettäessä. SSI-pohjainen lähestymistapa on käyttää uusia, kohinattomia antureita täydentämään prosessoituja akustisia signaaleja.

Puheentunnistusjärjestelmien luokittelu

Puheentunnistusjärjestelmät luokitellaan: [6]

Automaattisissa puheentunnistusjärjestelmissä häiriönkestävyys tarjotaan ensinnäkin käyttämällä kahta mekanismia: [7]

Menetelmät ja algoritmit puheentunnistukseen

"...on selvää, että puhesignaalin käsittelyalgoritmien pitäisi puhehavaintomallissa käyttää samaa käsite- ja suhdejärjestelmää, jota henkilö käyttää" [8] [9] .

Nykyään puheentunnistusjärjestelmät rakentuvat tunnistuksen periaatteille[ kenen toimesta? ] tunnustamisen muodot [ tuntematon termi ] . Tähän mennessä käytetyt menetelmät ja algoritmit voidaan jakaa seuraaviin suuriin luokkiin: [10] [11]

Puheentunnistusmenetelmien luokittelu standardiin vertailun perusteella.

  • Dynaaminen ohjelmointi - väliaikaiset dynaamiset algoritmit (Dynamic Time Warping).

Kontekstiriippuvainen luokitus. Kun se toteutetaan, puhevirrasta erotetaan erilliset leksikaaliset elementit - foneemit ja allofonit, jotka sitten yhdistetään tavuiksi ja morfeemiksi.

  • Bayesilaiseen syrjintään perustuvat erotteluanalyysimenetelmät;
  • Piilotetut Markov-mallit;
  • Neuraaliverkot (Neuroverkot).

Dynaamista aikajanan muunnosalgoritmia käytetään määrittämään, edustavatko puhesignaalit samaa alkuperäistä puhuttua lausetta.

Tunnistusjärjestelmien arkkitehtuuri

Yksi tilastotietoihin perustuvien automaattisten puheenkäsittelyjärjestelmien arkkitehtuureista voi olla seuraava. [12] [13]

  • Kohinanvaimennusmoduuli ja hyödyllinen signaalin erotus.
  • Akustinen malli - voit arvioida puhesegmentin tunnistuksen samankaltaisuuden perusteella äänitasolla. Jokaiselle äänelle rakennetaan aluksi monimutkainen tilastollinen malli, joka kuvaa tämän äänen ääntämistä puheessa.
  • Kielimalli - voit määrittää todennäköisimmät sanasekvenssit. Kielimallin rakentamisen monimutkaisuus riippuu suurelta osin tietystä kielestä. Joten englannin kielelle riittää tilastollisten mallien (ns. N-grammien) käyttö. Erittäin taivuttavilla kielillä (kielet, joissa on useita saman sanan muotoja), joihin venäjä kuuluu, vain tilastoilla rakennetut kielimallit eivät enää anna tällaista vaikutusta - tilaston luotettavaan arvioimiseen tarvitaan liian paljon tietoja. sanojen väliset suhteet. Siksi käytetään hybridikielimalleja, jotka käyttävät venäjän kielen sääntöjä, tietoa puheen osasta ja sanan muodosta sekä klassista tilastollista mallia.
  • Dekooderi on tunnistusjärjestelmän ohjelmistokomponentti, joka yhdistää tunnistuksen aikana akustisista ja kielimalleista saadut tiedot ja määrittää niiden yhdistelmän perusteella todennäköisimmän sanajonon, joka on jatkuvan puheentunnistuksen lopputulos.

Tunnustamisen vaiheet [12]

  1. Puheenkäsittely alkaa puhesignaalin laadun arvioimisella. Tässä vaiheessa häiriön ja vääristymän taso määritetään.
  2. Arviointitulos siirtyy akustiseen sovitusmoduuliin, joka ohjaa moduulia tunnistamiseen tarvittavien puheparametrien laskentaa varten.
  3. Signaalista valitaan puhetta sisältävät segmentit ja puheparametrit arvioidaan. On olemassa valikoima foneettisia ja prosodisia todennäköisyysominaisuuksia syntaktista, semanttista ja pragmaattista analyysiä varten. (Puhenosaa, sanamuotoa ja sanojen välisiä tilastollisia suhteita koskevan tiedon arviointi.)
  4. Seuraavaksi puheparametrit tulevat tunnistusjärjestelmän päälohkoon - dekooderiin. Tämä on komponentti, joka sovittaa syötetyn puhevirran akustisiin ja kielimalleihin tallennettuihin tietoihin ja määrittää todennäköisimmän sanajonon, joka on lopullinen tunnistustulos.

Tunnusvärisen puheen merkkejä tunnistusjärjestelmissä

Peruskäsitteet, jotka kuvaavat ihmisen puheen parametreja, jotka liittyvät puheenmuodostuskanavan muutosten muotoon, kokoon, dynamiikkaan ja kuvaavat ihmisen tunnetilaa, voidaan jakaa neljään objektiivisten piirteiden ryhmään, joiden avulla voidaan erottaa puhe. kuviot: spektri-ajallinen, kestraalinen, amplitudi-taajuus ja epälineaarisen dynamiikan merkit. Lisätietoja, jokainen ominaisuusryhmä: [9] [14] [15]

Spektri-ajalliset piirteet

Spektriominaisuudet:

  • Analysoidun puhesignaalin spektrin keskiarvo;
  • Normalisoidut spektrin välineet;
  • Signaalin suhteellinen viipymäaika spektrin kaistoilla;
  • Signaalin normalisoitu viipymäaika spektrin kaistoilla;
  • Puhespektrin mediaaniarvo kaistoissa;
  • Puhespektrin suhteellinen teho kaistoissa;
  • Puhespektrin verhokäyrien vaihtelu;
  • Puhespektrin verhokäyrien vaihtelun normalisoidut arvot;
  • Spektrikaistojen välisten spektrien verhokäyrien ristikorrelaatiokertoimet.

Väliaikaiset merkit:

  • Segmentin kesto, foneemit;
  • segmentin korkeus;
  • Segmentin muototekijä.

Spektri-ajalliset piirteet luonnehtivat puhesignaalia sen fysikaalisessa ja matemaattisessa olemuksessa kolmen tyyppisen komponentin läsnäolon perusteella:

  1. ääniaallon jaksolliset (tonaaliset) osat;
  2. ääniaallon ei-jaksolliset osat (melu, räjähdysaine);
  3. osiot, jotka eivät sisällä puhetaukoja.

Spektri-ajalliset ominaisuudet mahdollistavat aikasarjan muodon ja ääniimpulssien spektrin omaperäisyyden heijastamisen eri yksilöissä sekä heidän puheketjujensa suodatustoimintojen piirteitä. Ne kuvaavat puhevirran piirteitä, jotka liittyvät puhujan puheen artikulaatioelinten uudelleenjärjestelyn dynamiikkaan, ja ovat puhevirran olennaisia ​​ominaisuuksia, jotka heijastavat puheen artikulaatioelinten liikkeiden suhteen tai synkronoinnin erityispiirteitä. puhuja.

Kepstraaliset merkit
  • Mel-taajuus cepstral kertoimet;
  • Lineaariset ennustekertoimet korjattu ihmiskorvan epätasaisella herkkyydellä;
  • Rekisteröintitaajuus tehokertoimet;
  • Lineaariset ennustespektrikertoimet;
  • Lineaarinen ennuste cepstrum kertoimet.

Useimmat nykyaikaiset automaattiset puheentunnistusjärjestelmät keskittyvät erottamaan ihmisen äänikanavan taajuusvastetta ja hylkäämään herätesignaalin ominaisuudet. Tämä selittyy sillä, että ensimmäisen mallin kertoimet tarjoavat paremman äänten erotettavuuden. Herätyssignaalin erottamiseksi ääniradan signaalista käytetään cepstral-analyysiä .

Amplitudi-taajuusominaisuudet
  • Intensiteetti, amplitudi
  • Energiaa
  • Pitch Frequency (PCH)
  • Formanttitaajuudet
  • Jitter (jitter) - perusäänen (kohinaparametri) jitter-taajuusmodulaatio;
  • Shimmer (shimmer) - amplitudimodulaatio perusäänellä (kohinaparametri);
  • Radiaalinen ydinfunktio
  • Epälineaarinen Teager-operaattori

Amplitudi-taajuusominaisuudet mahdollistavat arvioiden saamisen, joiden arvot voivat vaihdella diskreetin Fourier-muunnoksen parametrien (ikkunan tyyppi ja leveys) mukaan sekä ikkunan pienillä siirtymillä näytteen yli. . Puhesignaali edustaa akustisesti ilmassa eteneviä monimutkaisen rakenteen omaavia äänivärähtelyjä, jotka on karakterisoitu taajuutensa (värähtelyjen määrä sekunnissa), intensiteetin (värähtelyamplitudin) ja keston suhteen. Amplitudi-taajuusmerkit kuljettavat henkilölle tarpeellisen ja riittävän tiedon puhesignaalista minimihavaintoajalla. Mutta näiden ominaisuuksien käyttö ei salli niitä täysimääräisesti käyttää työkaluna tunnevärisen puheen tunnistamiseen.

Epälineaarisen dynamiikan merkkejä
  • Poincarén kartoitus;
  • Rekursiivinen kaavio;
  • Lyapunovin suurin ominaisindikaattori on henkilön tunnetila, joka vastaa houkuttimen tiettyä geometriaa (vaihemuotokuva); [16]
  • Vaihe muotokuva (houkuttelija);
  • Kaplan-York-ulottuvuus on kvantitatiivinen mitta henkilön tunnetilasta "rauhasta" "vihaan" (puhesignaalin spektrin muodonmuutos ja sitä seuraava siirtymä). [16] .

Epälineaarisen dynamiikan merkkien ryhmässä puhesignaalia pidetään skalaariarvona, joka havaitaan ihmisen äänikanavajärjestelmässä. Puheentuotantoprosessia voidaan pitää epälineaarisena ja sitä voidaan analysoida epälineaarisen dynamiikan menetelmillä. Epälineaarisen dynamiikan tehtävänä on löytää ja tutkia yksityiskohtaisesti ne matemaattiset perusmallit ja todelliset järjestelmät, jotka lähtevät tyypillisimmistä ehdotuksista järjestelmän muodostavien yksittäisten elementtien ominaisuuksista ja niiden välisistä vuorovaikutuksista. Tällä hetkellä epälineaarisen dynamiikan menetelmät perustuvat perustavanlaatuiseen matemaattiseen teoriaan, joka perustuu Takensin lauseeseen., joka tuo tiukan matemaattisen perustan epälineaarisen autoregression ideoille ja todistaa mahdollisuuden palauttaa attraktorin vaihekuva aikasarjasta tai yhdestä sen koordinaateista. (Attraktori on joukko pisteitä tai aliavaruus vaiheavaruudessa, jota vaiherata lähestyy transienttien vaimenemisen jälkeen.) Rekonstruoiduista puhetrajektorioista saatuja signaaliominaisuuksien arvioita käytetään epälineaarisen deterministisen vaiheavaruuden rakentamisessa. havaittujen aikasarjojen mallit. Paljastuneita attraktoreiden muodossa olevia eroja voidaan käyttää diagnostisissa säännöissä ja ominaisuuksissa, joiden avulla voidaan tunnistaa ja tunnistaa oikein erilaisia ​​tunteita emotionaalisesti väritetyssä puhesignaalissa.

Puheen laatuasetukset

Puheenlaatuparametrit digitaalisille kanaville: [17]

  • Puheen tavuinen ymmärrettävyys;
  • Puheen fraasaalinen ymmärrettävyys;
  • Puheen laatu verrattuna referenssipolun puheen laatuun;
  • Puheen laatua todellisissa työoloissa.

Peruskäsitteet

  • Puheen ymmärrettävyys on oikein vastaanotettujen puheelementtien (äänet, tavut, sanat, lauseet) suhteellinen lukumäärä ilmaistuna prosentteina lähetettyjen elementtien kokonaismäärästä.
  • Puheen laatu on parametri, joka luonnehtii puheen äänen subjektiivista arviointia testatussa puheensiirtojärjestelmässä.
  • Normaali puhetahti on puhuminen nopeudella, jolla ohjauslauseen keskimääräinen kesto on 2,4 sekuntia.
  • Nopeutettu puhenopeus - puhuminen nopeudella, jolla ohjauslauseen keskimääräinen kesto on 1,5-1,6 s.
  • Puhujan äänen tunnistettavuus tarkoittaa kuuntelijan kykyä tunnistaa äänen ääni tietyn kuuntelijan aiemmin tunteman henkilön kanssa.
  • Semanttinen ymmärrettävyys ilmaisee puheen informaatiosisällön oikean toiston asteen.
  • Integroitu laatu on indikaattori, joka luonnehtii kuuntelijan yleisvaikutelmaa vastaanotetusta puheesta.

Sovellus

Äänijärjestelmien pääeduksi julistettiin käyttäjäystävällisyys . Puhekomentojen piti säästää loppukäyttäjä tarpeelta käyttää kosketusta ja muita tiedonsyöttö- ja komentomenetelmiä.

Menestyksekkäitä esimerkkejä puheentunnistustekniikan käytöstä mobiilisovelluksissa ovat: osoitteen syöttäminen äänellä Yandex.Navigatorissa, Google Now -puhehaku.

Mobiililaitteiden lisäksi puheentunnistustekniikkaa käytetään laajasti eri liiketoiminta-alueilla:

  • Puhelu: saapuvien ja lähtevien puhelujen käsittelyn automatisointi luomalla itsepalvelupuhejärjestelmiä, erityisesti: taustatietojen hankkimiseen ja konsultointiin, palvelujen/tavaroiden tilaamiseen, olemassa olevien palveluiden parametrien muuttamiseen, kyselyjen tekemiseen, kyselyihin, tiedon keräämiseen, tiedottamiseen ja muut skenaariot;
  • "Smart Home" -ratkaisut: äänirajapinta "Smart Home" -järjestelmien hallintaan;
  • Kodinkoneet ja robotit: elektronisten robottien äänirajapinta; kodinkoneiden ääniohjaus jne.;
  • Pöytäkoneet ja kannettavat tietokoneet: äänisyöttö tietokonepeleissä ja -sovelluksissa;
  • Autot: ääniohjaus auton sisätiloissa - esimerkiksi navigointijärjestelmä;
  • Sosiaalipalvelut vammaisille.

Katso myös

Muistiinpanot

  1. ↑ Davies, KH, Biddulph, R. ja Balashek, S. (1952) Automatic Speech Recognition of Spoken Digits , J. Acoust. soc. Olen. 24 (6) s. 637-642
  2. ↑ 1 2 Klass, Philip J. Kuituoptinen laite tunnistaa signaalit . // Aviation Week & Space Technology . - NY: McGraw-Hill , 1962. - Voi. 77 - ei. 20 - s. 94-101.
  3. ↑ Muistisolut . // Military Review . - Huhtikuu 1963. - Voi. 43 - ei. 4 - s. 99.
  4. ↑ Armagnac, Alden P. "Kerro se Sceptronille!" // Populaaritiede . - Huhtikuu 1963. - Voi. 182 - ei. 4 - s. 120.
  5. ↑ Ääniohjattu tietokone testattu . // Ilmapuolustustykistö . - Kevät 1983. - Ei. 2 - s. 54.
  6. ↑ Tili jäädytetty . Haettu 10. maaliskuuta 2013. Arkistoitu alkuperäisestä 27. marraskuuta 2013.
  7. ↑ Nykyajan ongelmia puheentunnistuksen alalla. . Haettu 6. kesäkuuta 2020. Arkistoitu alkuperäisestä 6. kesäkuuta 2020.
  8. ↑ http://phonoscopic.rf/articles_and_publications/Lobanova_Search_of_identical_fragments.pdf  (linkki, jota ei voi käyttää)
  9. ↑ 1 2 Lähde . Haettu 29. huhtikuuta 2013. Arkistoitu alkuperäisestä 21. elokuuta 2013.
  10. ↑ Lähde . Haettu 25. huhtikuuta 2013. Arkistoitu alkuperäisestä 15. syyskuuta 2012.
  11. ↑ Lähde . Haettu 25. huhtikuuta 2013. Arkistoitu alkuperäisestä 22. joulukuuta 2014.
  12. ↑ 1 2 Puheentunnistus | Puhetekniikan keskus | Vuosituhattavoitteet . Haettu 20. huhtikuuta 2013. Arkistoitu alkuperäisestä 28. huhtikuuta 2013.
  13. ↑ Lähde . Haettu 29. huhtikuuta 2013. Arkistoitu alkuperäisestä 4. maaliskuuta 2016.
  14. ↑ Tunnevärisen tekstin merkkien analyysi . Haettu 6. kesäkuuta 2020. Arkistoitu alkuperäisestä 6. kesäkuuta 2020.
  15. ↑ Lähde . Haettu 1. toukokuuta 2013. Arkistoitu alkuperäisestä 4. maaliskuuta 2016.
  16. ↑ 1 2 Väitös aiheesta "Ihmisen psykofysiologisen tilan tutkimus puheen tunnemerkkien perusteella" abstrakti erikoisalasta VAK 05.11.17, 05.13.01 - Laite .... Haettu 30. huhtikuuta 2013. Arkistoitu alkuperäisestä 14. lokakuuta 2013.
  17. ↑ GOST R 51061-97. PUHELAADUN PARAMETRIT. JÄRJESTELMÄT HITAASTA PUHESIIRTOSTA DIGITAALISET KANAVAT. (linkki ei saatavilla) . Haettu 29. huhtikuuta 2013. Arkistoitu alkuperäisestä 3. syyskuuta 2014. 

Linkit

  Siirry Wikidata-kohteeseen  Sanakirjat ja tietosanakirjat
Bibliografisissa luetteloissa