Sigmoidi

Kokeneet kirjoittajat eivät ole vielä tarkistaneet sivun nykyistä versiota, ja se voi poiketa merkittävästi 2. elokuuta 2019 tarkistetusta versiosta . tarkastukset vaativat 5 muokkausta .

Sigmoidi on tasainen monotoninen kasvava epälineaarinen funktio , joka on muotoiltu kirjaimella "S", jota käytetään usein "tasoittamaan" jonkin suuren arvoja.

Sigmoid ymmärretään usein logistisena funktiona

\sigma (x)={\frac {1}{1+e^{-x}}}.

Sigmoidia rajoittaa kaksi vaakasuuntaista asymptoottia, joihin se pyrkii argumentin tapaan Konvention mukaan nämä asymptootit voivat olla y = ±1 (in ) tai y = 0 in ja y = +1 in . $\pm \infty .$ $\pm \infty$ $-\infty$ $+\infty$

Sigmoidin derivaatta on kellon muotoinen käyrä, jonka maksimi on nollassa ja joka pyrkii asymptoottisesti nollaan pisteessä . $+\infty$

Sigmoidiluokan funktioperhe

Sigmoidiluokan funktioperhe sisältää funktioita, kuten arktangentti , hyperbolinen tangentti ja muut vastaavat funktiot.

Fermi-Dirac-funktio (eksponentiaalinen sigmoidi):

f(x)={\frac {1}{1+e^{-2\alpha x}}},\quad \alpha >0.

Rationaalinen sigmoidi:

f(x)={\frac {x}{|x|+\alpha )),\quad \alpha >0.

Arktangentti :

f(x)=\operaattorinimi {arctg} x.

Hyperbolinen tangentti :

f(x)=\operaattorinimi {th} {\frac {x}{\alpha }}={\frac {e^{\frac {x}{\alpha }}-e^{-{\frac {x}{\alpha }}}}{e^{\frac {x}{\alpha }}+e^{-{\frac {x}{\alpha }}}}}.

Tasainen vaihe N. järjestys:

f(x)={\begin{cases}\left(\int _{0}^{1}{\big (}1-u^{2}{\big )}^{N}\ du \right)^{-1}\int _{0}^{x}{\big (}1-u^{2}{\big )}^{N}\ du\quad &|x|\leq 1 \\\operaattorin nimi {sgn}(x)&|x|\geq 1\\\end{cases}}\,\quad N\geq 1

Juuren sigmoidi:

f(x)={\frac {x}{\sqrt {1+x^{2)))).

Logistinen toiminto :

f(x)=(1+e^{-x})^{-1}.

Yleinen logistinen toiminto :

f(x)=(1+e^{-x})^{-\alpha },\quad \alpha >0.

Virhetoiminto :

f(x)=\operaattorinimi {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2 }}\,dt.

Gudermannin toiminto :

f(x)=\operaattorinimi {gd} x=\int _{0}^{x}{\frac {1}{\cosh t}}\,dt=\operaattorinimi {arctg} (\operaattorin nimi { sh}x).

Sovellus

Hermoverkot

Sigmoideja käytetään hermoverkoissa aktivointitoimintoina. Niiden avulla hermosolut voivat vahvistaa heikkoja signaaleja eivätkä olla kyllästyneitä vahvoilla signaaleilla [1] .

Neuroverkoissa käytetään usein sigmoideja, joiden derivaatat voidaan ilmaista itse funktiona. Tämän avulla voimme merkittävästi vähentää virheen takaisinetenemismenetelmän laskennallista monimutkaisuutta , mikä tekee siitä käyttökelpoisen käytännössä:

\sigma '(x)=(1+\sigma (x))\cdot (1-\sigma (x))

— hyperboliselle tangentille;

\sigma '(x)=\sigma (x)\cdot (1-\sigma (x))

- logistiikkatoimintoa varten.

Logistinen regressio

Logistista funktiota käytetään luokitusongelmien ratkaisemisessa logistista regressiota käyttäen . Ratkaistaan kahden luokan luokittelutehtävä ( ja , missä on objektiluokkaa osoittava muuttuja). Oletetaan, että todennäköisyys, että objekti kuuluu johonkin luokista, ilmaistaan tämän objektin attribuuttien arvojen (reaalilukujen) kautta: $f(x)={\frac {1}{1+e^{{-x))))$ $y = 0$ $y = 1$ $y$ $x_{1},x_{2},...,x_{n}$

\mathbb {P} \{y=1\mid x_{1},\ldots ,x_{n}\}=f(a_{1}x_{1}+\ldots +a_{n}x_{ n})={\frac {1}{1+\exp(-a_{1}x_{1}-\ldots -a_{n}x_{n))))),

missä on joitain kertoimia, jotka edellyttävät valintaa, yleensä suurimman todennäköisyyden menetelmällä . $a_{1},...,a_{n}$

Tämä funktio saadaan käyttämällä yleistettyä lineaarista mallia ja olettaen, että riippuva muuttuja jakautuu Bernoullin lain mukaan . $f(x)$ $y$

Katso myös

Keinotekoinen hermoverkko
perceptron
Muokattu hyperbolinen tangentti

Kirjallisuus

Mitchell, Tom M. Koneoppiminen . - WCB-McGraw-Hill, 1997. - ISBN 0-07-042807-7 .

Muistiinpanot

↑ Aktivointitoiminnot neuroverkoissa . Haettu 11. syyskuuta 2014. Arkistoitu alkuperäisestä 24. heinäkuuta 2014. (määrätön)

Linkit

Hyperbolisen tangentin useiden ohjelmistototeutusten nopeuden vertailu
Humphrys, Mark Jatkuva tulostus , sigmoiditoiminto .

Koneoppiminen ja tiedon louhinta
Tehtävät	Luokittelu ongelma Oppiminen ilman opettajaa Opettajan avustama oppiminen Taantumisanalyysi AutoML Yhdistyksen säännöt Ominaisuuksien erottaminen Ominaisuuksien koulutus Ranking koulutus Kieliopillinen johtaminen Verkko-oppiminen
Opettajan kanssa oppimista	k-lähimmän naapurin menetelmä Naiivi Bayesin luokitin päätöspuu Tuki vektorikonetta Lineaarinen regressio Logistinen regressio perceptron Mallien kokoonpanot Pussittaminen tehostaa satunnainen metsä Asiaankuuluva vektorimenetelmä
ryhmäanalyysi	k-keinomenetelmä Sumea klusterointimenetelmä Hierarkkinen klusterointi EM-algoritmi KOIVU PARANTAA DBSCAN OPTIIKKA Keskimääräinen siirto
Mittasuhteiden vähentäminen	Tekijäanalyysi Pääkomponenttimenetelmä CCA ICA LDA Ei-negatiivinen matriisin laajennus t-SNE
Rakenteellinen ennustaminen	Graafinen todennäköisyysmalli Bayesin verkko Piilotettu Markovin malli CRF
Anomalian havaitseminen	k-lähimmän naapurin menetelmä Paikallinen päästötaso
Piirrä todennäköisyysmallit	Bayesin verkko Markovin verkko Piilotettu Markovin malli
Neuroverkot	Rajoitettu Boltzmann-kone itseorganisoituva kartta Aktivointitoiminto Sigmoidi softmax Radiaalinen kantafunktio Takaisin lisäysmenetelmä Syväoppiminen Monikerroksinen perceptroni Toistuva neuroverkko pitkä lyhytaikainen muisti Hallittu toistuva esto Konvoluutiohermoverkko U-verkko Autoenkooderi
Vahvistusoppiminen	Markovin prosessi Bellmanin yhtälö Ahne algoritmi Q-oppiminen SARSA Aikaero (TD)
Teoria	Vapnik-Chervonenkis teoria Bias-dispersion dilemma Laskennallinen oppimisteoria Empiirinen riskin minimointi Occam oppii PAC-oppiminen Tilastollinen oppimisteoria
Lehdet ja konferenssit	NeurIPS ICML ML JMLR ArXiv:cs.LG