Sisältöpohjainen kuvanhaku (CBIR) on tietokonenäön osa , joka ratkaisee ongelman löytää kuvia, joilla on vaadittu sisältö suuresta digitaalisten kuvien joukosta.
Hakualgoritmin tulee analysoida kuvan sisältö, esimerkiksi siinä esiteltyjen esineiden väri, muoto, tekstuuri, kohtauskoostumus. Jos kohtausta ei ole mahdollista analysoida, haussa otetaan huomioon metatiedot : avainsanat, tunnisteet.
Termin "sisältöön perustuva kuvanhaku" otti ensimmäisen kerran käyttöön vuonna 1992 T. Kato kuvaillessaan kokeita automaattisella kuvanhaulla nykyisten värien ja geometristen muotojen kriteerien perusteella. Siitä lähtien sitä on käytetty yleistyksenä kuvien valintaprosessille tietokannasta objektien syntaktisten ominaisuuksien mukaan. Käytetyt algoritmit, menetelmät ja ohjelmistotyökalut ovat peräisin signaalinkäsittelyyn , tietokonenäköön ja tilastoihin liittyviltä alueilta .
Tällä hetkellä kiinnostus sisältökriteerien mukaista kuvahakua kohtaan on lisääntynyt, mikä johtuu pelkästään metatietojen luokitteluun perustuvien menetelmien rajoituksista sekä sen soveltuvuusmahdollisuuksien lisääntymisestä. Tällä hetkellä tekstidatan luokittelu- ja hakualgoritmit mahdollistavat kuvattujen kuvien käsittelyn metadatan avulla varsin tehokkaasti, mutta tämä lähestymistapa edellyttää jokaisen tietokannan kuvan manuaalista kuvausta henkilön toimesta. Tämä on täysin epäkäytännöllistä, varsinkin kun sitä sovelletaan suuriin tietokantoihin tai automaattisesti luotuihin kuviin (kuten CCTV-kameroihin ). Lisäksi on lähes nolla todennäköisyys, että jokin hakukohdekuvista puuttuu epäselvyyden tai synonyymien vuoksi.
Mahdolliset sovellukset sisällönhakualgoritmeille:
Huolimatta siitä, että tietokannoista on olemassa monia ohjelmistopaketteja kuvien etsimiseen, pikselisisältöön perustuvan haun ongelmaa ei useimmissa tilanteissa ole vielä toteutettu. Katso luettelo kuvahakukoneista.
Kuvasisällön hakujärjestelmien erilaiset toteutukset toimivat seuraavan tyyppisten käyttäjäkyselyiden kanssa :
EsimerkkitulosOletetaan, että järjestelmä suorittaa haun käyttäjän määrittämän syötekuvan perusteella. Järjestelmän muodostavilla algoritmeilla voi olla erilaisia tapoja kuvata ja työskennellä syötekuvan kanssa, mutta kaikilla tuloksena olevilla kuvailmenteillä tulee olla yhteisiä elementtejä käyttäjän määrittämän syötteen kanssa.
Käyttäjä voi syöttää sekä olemassa olevan kuvan että karkean luonnoksen halutusta tuloksesta (merkitseminen värillisiksi alueiksi tai yksinkertaisiksi geometrisiksi muodoiksi). [yksi]
Tällä kyselyjen muodostamismenetelmällä kuvan esittämiseen sanajoukolla ei liity vaikeuksia.
Kyselyn semantiikan resoluutioIhannetapauksessa hakujärjestelmän pitäisi pystyä käsittelemään vapaassa muodossa muotoiltuja käyttäjien pyyntöjä, esimerkiksi "löydä kuvia koirista" tai jopa "löytää muotokuvia Leonid Iljitš Brežnevistä". Tämän tyyppisiä pyyntöjä on erittäin vaikea käsitellä tietokoneella, koska valokuvat labradorista ja minivillakoirasta ovat hyvin erilaisia, ja Leonid Iljitš ei aina katso kameraa samassa asennossa. Tällä hetkellä monet järjestelmät käyttävät luokitteluun matalan tason ominaisuuksia, kuten kohteen väriä, tekstuuria ja muotoa, vaikka on myös järjestelmiä, jotka perustuvat pääasiassa korkean tason kriteerien erottamiseen (katso kuviontunnistusteoria ). Useimmat järjestelmät eivät ole laaja-alaisia. Esimerkiksi tietokoneella luodut kuvanhakujärjestelmät hallitsevat onnistuneesti ominaisuuksia, jotka perustuvat yhteensopiviin muotoihin ja liukuväreihin.
Muita tapojaTämä luokka sisältää kyselymuotoja, kuten luokan määrittelyn ehdotetussa hierarkiassa, kyselyn osana odotettua kuvaa, kyselyn laajentamista lisäkuvilla, graafisen luonnostelun monimutkaisilla muodoilla ja menetelmien yhdistelmän.
Kyselyä on myös mahdollista tarkentaa asteittain, kun käyttäjä merkitsee hakujärjestelmän aikana välitulokset "sopivaksi" tai "epätyydyttäväksi" ja järjestelmä jatkaa työskentelyä tarkennetun kyselyn kanssa.
Tässä on yleisimmät menetelmät kuvien sisällön kuvaamiseen, joita käytetään niiden myöhemmässä vertailussa keskenään. Kaikki ne ovat mahdollisesti laajalti sovellettavissa, eli ne eivät ole erityisiä millekään tietylle järjestelmien alaluokalle.
VäriKuvien haku värikomponentteja vertailemalla tehdään rakentamalla niiden jakautumisesta histogrammi . Parhaillaan tehdään tutkimusta sellaisen kuvauksen rakentamiseksi, jossa kuva jaetaan alueisiin samanlaisten väriominaisuuksien mukaan ja sitten otetaan huomioon niiden suhteellinen sijainti. Kuvien kuvaus niiden sisältämillä väreillä on yleisin, koska se ei riipu kuvan koosta tai suunnasta. Histogrammien rakentamista ja niiden myöhempää vertailua käytetään useimmiten, mutta se ei ole ainoa tapa kuvata väriominaisuuksia.
TekstuuriSellaisen kuvauksen menetelmät toimivat vertaamalla kuvassa olevia tekstuurinäytteitä ja niiden suhteellista sijaintia. Tekstuurin määrittämiseen käytetään tekseleja , jotka yhdistetään sarjoiksi. Ne eivät sisällä vain tekstuuria kuvaavia tietoja, vaan myös sen sijaintia kuvatussa kuvassa. Tekstuuria kokonaisuutena on vaikea kuvata formalisoidulla tavalla, ja se esitetään yleensä kaksiulotteisena kirkkauden muutosten joukkona . Kuvaus sisältää joskus myös kontrastin , gradientin suuntaavuuden ja säännöllisyyden mittarin. Pikselien kovarianssin vertailussa on ongelma luokkien osoittamiseksi tekstuureille, kuten "sileä" tai "karkea".
LomakeMuodon kuvaus sisältää kuvan yksittäisten alueiden geometrisen muodon kuvauksen. Sen määrittämiseksi alueelle sovelletaan ensin segmentointia tai rajan valintaa . Muitakin menetelmiä on olemassa, kuten lomakesuodatus (Tushabe ja Wilkinson, 2008). Usein lomakkeen määrittely vaatii ihmisen väliintuloa, koska segmentoinnin kaltaisia menetelmiä on vaikea täysin automatisoida monille tehtäville.
On ohjelmistoyrityksiä, jotka käyttävät sisältöpohjaisia kuvahakualgoritmeja verkkosisällön suodattamiseen ja valvovat valtion verkkoliikennettä pornografisen sisällön kuvien seuraamiseksi.
Esimerkkejä: