Puolivarma ohjelmointi

Semidefinite programming (tai SDP englanniksi . Semidefinite programming ) on konveksin ohjelmoinnin alaosa , joka käsittelee lineaarisen tavoitefunktion optimointia (tavoitefunktio on käyttäjän määrittämä funktio, jonka arvoa käyttäjä haluaa minimoida tai maksimoida) positiivisesti puolimäärittyjen matriisien kartioiden leikkaus affiinin avaruuden kanssa .

Puolivarma ohjelmointi on suhteellisen uusi optimointialue, jonka kiinnostus kasvaa useista syistä. Monia käytännön ongelmia operaatiotutkimuksen ja kombinatorisen optimoinnin aloilla voidaan mallintaa tai approksimoida puolimääräisinä ohjelmointiongelmina. Automaattisen ohjauksen teoriassa SDP-ongelmia käytetään lineaaristen matriisiepäyhtälöiden yhteydessä . SDP-ongelmat ovat itse asiassa kartiomaisen ohjelmoinnin erikoistapaus ja ne voidaan ratkaista tehokkaasti sisäpistemenetelmällä . Kaikki lineaariset ohjelmointiongelmat voidaan ilmaista SDP-tehtävinä ja SDP-tehtävähierarkioiden avulla voidaan approksimoida ratkaisuja polynomioptimointitehtäviin. Puolimääräistä ohjelmointia käytetään monimutkaisten järjestelmien optimoinnissa . Viime vuosina joitakin kvanttikyselyn monimutkaisuusongelmia on muotoiltu puolimääräisen ohjelmoinnin kannalta.

Motivaatio ja määritelmä

Alkumotivaatiot

Lineaarinen ohjelmointiongelma on ongelma , jossa sinun täytyy maksimoida tai minimoida monitahoisen reaalimuuttujien lineaarinen tavoitefunktio . Puolimääräisessä ohjelmoinnissa käytämme sen sijaan reaalivektoreita ja saamme käyttää vektorien pistetuloa. LP-ongelman reaalimuuttujien ei-negatiivisuuden ehto korvataan SDP-ongelman muuttujien matriisin puolimääräisillä rajoituksilla. Erityisesti yleinen puolimääräinen ohjelmointiongelma voidaan määritellä minkä tahansa muodon matemaattiseksi ohjelmointiongelmaksi

{\min _{x^{1},\ldots ,x^{n}\in \mathbb {R} ^{n))}{\sum _{i,j\in [n]}c_ {i,j}(x^{i}\cdot x^{j})}

olosuhteissa

{\sum _{i,j\in [n]}a_{i,j,k}(x^{i}\cdot x^{j})\leq b_{k}\qquad \forall k }.

Vastaavat formulaatiot

Matriisin sanotaan olevan positiivinen puolimääräinen , jos se on joidenkin vektorien Gram-matriisi (eli jos on vektoreita , jotka ovat kaikille ). Jos tämä on totta, merkitsemme sen muodossa . Huomaa, että on olemassa joitain muita vastaavia määritelmiä positiiviselle puolimääräiselle matriiseille, esimerkiksi positiivisilla puolimääräisillä matriiseilla on vain ei-negatiiviset ominaisarvot ja niillä on positiivinen puolimääräinen neliöjuuri. $n\ kertaa n$ $M$ ${\displaystyle x^{1},\ldots ,x^{n))$ ${\displaystyle m_{i,j}=x^{i}\cdot x^{j))$ $i, j$ $M \succeq 0$

Merkitään kaikkien todellisten symmetristen matriisien avaruudella. Tässä tilassa on sisätuote (missä tarkoittaa jälkiä ) ${\mathbb {S}}^{n}$ $n\ kertaa n$ $\langle A,B\rangle _{\mathbb {S} ^{n}}={\rm {tr}}(A^{T}B)=\sum _{i=1,j=1 }^{n}A_{ij}B_{ij}.$ ${\rm {tr))$

Voimme kirjoittaa edellisen osan matemaattisen ohjelmoinnin tehtävän uudelleen vastaavaan muotoon

{\min _{X\in \mathbb {S} ^{n))}\langle C,X\rangle _{\mathbb {S} ^{n))

olosuhteissa

{\begin{array}{ll}{\displaystyle \langle A_{k},X\rangle _{\mathbb {S} ^{n))\leq b_{k},\quad k=1, \ldots ,m}\\X\succeq 0\end{array}}

jossa matriisielementti on yhtä suuri kuin edellisestä osasta, ja se on matriisi , jolla on edellisen osan arvo matriisielementtinä. $i, j$ $C$ ${\displaystyle c_{i,j))$ $A_k$ $n\ kertaa n$ $i, j$ ${\näyttötyyli a_{i,j,k))$

Huomaa, että jos lisäämme muita muuttujia oikein, tämä SDP-tehtävä voidaan muuntaa

{\displaystyle \min _{X\in \mathbb {S} ^{n))}\langle C,X\rangle _{\mathbb {S} ^{n))

olosuhteissa

{\begin{array}{ll}\langle A_{k},X\rangle _{\mathbb {S} ^{n))=b_{k},\quad k=1,\ldots ,m \\X\succeq 0\end{array}}

Mukavuuden vuoksi SDP-ongelma voidaan määritellä hieman erilaisessa, mutta vastaavassa muodossa. Tehtävämääritykseen voidaan lisätä esimerkiksi lineaarisia lausekkeita, joissa käytetään ei-negatiivisia skalaarimuuttujia . Tehtävä säilyy SDP:nä, koska jokainen muuttuja voidaan sisällyttää matriisiin diagonaalielementtinä ( joillekin ). Varmistaaksesi , voit lisätä rajoituksia kaikille . Toisena esimerkkinä huomaa, että mille tahansa positiiviselle puolimääräiselle matriisille on joukko vektoreita siten, että matriisin elementti on yhtä suuri kuin , vektorien skalaaritulo ja . Siten SDP-ongelmat muotoillaan usein vektorien skalaaritulojen lineaarisina ilmauksina. Kun SDP-ongelmaan on ratkaisu standardimuodossa, vektorit voidaan rekonstruoida ajassa (esimerkiksi käyttämällä Cholesky- matriisin X epätäydellistä hajotusta). $X$ ${\displaystyle X_{ii))$ $i$ $X_{ii}\geq 0$ $X_{ij}=0$ $j\neq i$ $X$ $\{v_{i}\}$ $i$ $j$ $X$ $X_{ij}=(v_{i},v_{j})$ $v_{i}$ $v_{j}$ $\{v_{i}\}$ $O(n^{3})$

Kaksinaisuusteoria

Määritelmät

Lineaarisen ohjelmoinnin tapaan, jos yleinen ongelma SDP annetaan muodossa

\min _{X\in \mathbb {S} ^{n}}\langle C,X\rangle _{\mathbb {S} ^{n}}

olosuhteissa

{\begin{array}{ll}\langle A_{i},X\rangle _{\mathbb {S} ^{n))=b_{i},\quad i=1,\ldots ,m \\X\succeq 0\end{array}}

(suora ongelma tai P-SDP), määrittelemme dual semidefinite -ongelman (D-SDP)

\max _{y\in \mathbb {R} ^{m}}\langle b,y\rangle _{\mathbb {R} ^{m}}

olosuhteissa

{\begin{array}{ll}{\displaystyle \sum _{i=1}^{m}}y_{i}A_{i}\preceq C\end{array}}

Jos kahdelle matriisille ja , tarkoittaa . $P$ $K$ $P\succeq Q$ $PQ\succeq 0$

Heikko kaksinaisuus

Heikko duaalisuuslause sanoo, että primaalin SDP: n arvo ei ole pienempi kuin duaalisen SDP:n arvo. Siten mikä tahansa kaksois-SDP-ongelman hyväksyttävä ratkaisu rajoittaa suoran SDP:n arvoa alhaalta, ja päinvastoin, mikä tahansa suoran SDP-ongelman sallittu arvo rajoittaa kaksois-SDP:n arvoa ylhäältä. Tämä tapahtuu, koska

\langle C,X\rangle -\langle b,y\rangle =\langle C,X\rangle -\sum _{i=1}^{m}y_{i}b_{i}=\langle C,X\rangle -\sum _{i=1}^{m}y_{i}\langle A_{i},X\rangle =\langle C-\sum _{i=1}^{m}y_ {i}A_{i},X\rangle \geq 0,

jossa viimeinen epäyhtälö heijastaa sitä tosiasiaa, että molemmat matriisit ovat positiivisia puolimääräisiä. Tämän funktion arvoa kutsutaan joskus kaksoisväliksi.

Vahva kaksinaisuus

Slaterin ehtona tunnetussa ehdossa primaali- ja kaksois-SDP-ongelmien arvot ovat samat. Tätä kutsutaan vahvaksi kaksinaisuudesta . Toisin kuin lineaariset ohjelmointiongelmat , jokaisessa SDP-ongelmassa ei ole tiukkaa kaksinaisuutta. Yleisessä tapauksessa kaksoisongelman SDP arvo voi olla tiukasti pienempi kuin suoran ongelman arvo.

(i) Oletetaan, että suora ongelma (P-SDP) on alhaalta rajattu ja tiukasti hyväksyttävä (eli olemassa , sellainen, että , ). Sitten on olemassa optimaalinen ratkaisu kaksoisongelmaan (D-SDP) ja $X_{0}\in \mathbb {S} ^{n},X_{0}\succ 0$ ${\displaystyle \langle A_{i},X_{0}\rangle _{\mathbb {S} ^{n))=b_{i))$ $i=1,\ldots ,m$ $y^{*}$

\langle C,X^{*}\rangle _{\mathbb {S} ^{n))=\langle b,y^{*}\rangle _{\mathbb {R} ^{m)) .

(ii) Oletetaan, että kaksoisongelma (D-SDP) on ylhäältä päin rajattu ja ehdottomasti hyväksyttävä (eli joillekin ). Sitten on optimaalinen ratkaisu suoralle ongelmalle (P-SDP) ja yhtäläisyys (i):stä pätee. $\sum _{i=1}^{m}(y_{0})_{i}A_{i}\prec C$ ${\displaystyle y_{0}\in \mathbb {R} ^{m))$ $X^{*}$

Esimerkkejä

Esimerkki 1

Tarkastellaan kolmea satunnaismuuttujaa ja . Määritelmän mukaan niiden korrelaatiokertoimet ovat voimassa jos ja vain jos $A$ $B$ $C$ $\rho _{AB},\ \rho _{AC},\rho _{BC}$

{\begin{pmatrix}1&\rho _{AB}&\rho _{AC}\\\rho _{AB}&1&\rho _{BC}\\\rho _{AC}&\rho _ {BC}&1\end{pmatrix}}\succeq 0

Oletetaan, että joistakin lähteistä (esimerkiksi empiirisista tai kokeellisista tiedoista) tiedämme, että ja . Pienimmän ja suurimman arvon määrittämisen ongelma voidaan kirjoittaa seuraavasti: $-0.2\leq \rho _{AB}\leq -0.1$ $0.4\leq \rho _{BC}\leq 0.5$ $\rho _{AC}\$

minimoida/maksimoida

x_{13}

olosuhteissa

-0.2\leq x_{12}\leq -0.1

0.4\leq x_{23}\leq 0.5

x_{11}=x_{22}=x_{33}=1\

{\begin{pmatrix}1&x_{12}&x_{13}\\x_{12}&1&x_{23}\\x_{13}&x_{23}&1\end{pmatrix}}\succeq 0

Täällä hyväksytään . Ongelma voidaan muotoilla SDP-ongelmaksi. Täydennämme epäyhtälöt laajentamalla muuttujien matriisia ja ottamalla käyttöön lisämuuttujia , esim. ${\displaystyle \rho _{AB}=x_{12},\ \rho _{AC}=x_{13},\ \rho _{BC}=x_{23))$

$\mathrm {tr} \left(\left({\begin{array}{cccccc}0&1&0&0&0&0\\0&0&0&0&0&0\\0&0&0&0&0\\0&0&0&1&0&0&0\\0&0&0}&0&c\\0&0&0&0&c) \left({\begin{array}{cccccc}1&x_{12}&x_{13}&0&0&0\\x_{12}&1&x_{23}&0&0&0\\x_{13}&x_{23}&1&0&0&0\\0&0&0&s_{1} \\0&0&0&0&s_{2}&0\\0&0&0&0&0&s_{3}\end{array}}\right)\right)=x_{12}+s_{1}=-0,1$

Tämän SDP-ongelman ratkaisemisen jälkeen saamme minimi- ja maksimiarvot ( ja vastaavasti). $\rho _{AC}=x_{13}\$ $-0,978$ $0.872$

Esimerkki 2

Harkitse ongelmaa

minimoida

{\frac {(c^{T}x)^{2}}{d^{T}x}}

olosuhteissa _

Ax+b\geq 0

missä oletetaan, että klo . $d^{T}x>0$ $Ax+b\geq 0$

Ottamalla käyttöön lisämuuttujan kirjoitamme ongelman uudelleen muotoon: $t$

minimoida

t

olosuhteissa

Ax+b\geq 0,\,{\frac {(c^{T}x)^{2}}{d^{T}x}}\leq t

Tässä muotoilussa tavoitefunktio on kahden muuttujan ( ) lineaarinen funktio. ${\näyttötyyli x,t}$

Ensimmäinen rajoitus voidaan kirjoittaa uudelleen muotoon

{\textbf {diag}}(Ax+b)\geq 0

jossa matriisi on neliömatriisi, jonka diagonaalissa olevat arvot ovat yhtä suuret kuin vektorin elementit . ${\textbf {diag}}(Ax+b)$ ${\näyttötyyli A+b}$

Toinen rajoitus voidaan kirjoittaa muodossa

td^{T}x-(c^{T}x)^{2}\geq 0

Määrittelemme matriisin seuraavasti $D$

D=\left[{\begin{array}{cc}t&c^{T}x\\c^{T}x&d^{T}x\end{array}}\right]

Voimme käyttää Schurin komplementtiteoriaa osoittamaan sen

D\succeq 0

[yksi]

Tämän ongelman puolivarma ohjelmointiongelma on muotoa

minimoida

t

olosuhteissa

\left[{\begin{array}{ccc}{\textbf {diag}}(Ax+b)&0&0\\0&t&c^{T}x\\0&c^{T}x&d^{T}x\ end{array}}\right]\succeq 0

Esimerkki 3 (Goemans-Williamson MAX CUT -approksimaatioalgoritmi)

Puolimääräinen ohjelmointi on tärkeä työkalu NP-kovien maksimointiongelmien approksimaatioalgoritmien luomiseen. Ensimmäisen SDP:hen perustuvan approksimaatioalgoritmin ehdottivat Michel Goemans ja David Williamson [2] . He tutkivat MAX CUT -ongelmaa : Kun graafi G = ( V , E ), V : n kärjet on jaettava kahteen osaan siten, että nämä kaksi osaa yhdistävien reunojen lukumäärä on maksimoitu. Ongelmaa voidaan pitää kokonaisluvun neliöllisen ohjelmoinnin ongelmana :

Maksimoi mitä tahansa .

\sum _{(i,j)\in E}{\frac {1-v_{i}v_{j}}{2}},

{\displaystyle v_{i}\in \{1,-1\))

i

Ellei P = NP , emme voi ratkaista tätä ongelmaa tehokkaasti. Goemans ja Williamson hahmottelivat kuitenkin kolmivaiheisen menettelyn tällaisen ongelman torjumiseksi:

Heikentäämme kokonaisluvun neliöllisen ohjelmoinnin ongelman SDP-ongelmaksi.
Ratkaisemme SDP-ongelman (millä tahansa mielivaltaisen pienellä virheellä ). $\epsilon$
Pyöristämme SDP-tehtävän ratkaisun saadaksemme likimääräisen ratkaisun alkuperäisen kokonaisluvun neliöllisen ohjelmoinnin ongelmaan.

MAX CUT -ongelmalle luonnollisin rentoutuminen on

\max \sum _{(i,j)\in E}{\frac {1-\langle v_{i},v_{j}\rangle }{2)),

for , jossa maksimointi suoritetaan vektoreiden eikä skalaarien kokonaislukumuuttujien avulla.

\lVert v_{i}\rVert ^{2}=1

\{v_{i}\}

Ongelma on SDP-ongelma, koska sekä tavoitefunktio että rajoitukset ovat vektorien skalaaritulojen lineaarisia funktioita. SDP-ongelman ratkaisu antaa joukon yksikkövektoreita . Koska vektorit eivät välttämättä ole kollineaarisia, relaksoidun tehtävän arvo voi olla vain suurempi kuin alkuperäisen kokonaisluvun toisen asteen ohjelmointitehtävän arvo. Jaon saamiseksi tarvitaan lopullinen pyöristys. Goemans ja Williamson valitsevat satunnaisen hypertason (käyttämällä tasaista jakautumista) origosta ja jakavat kärjet niiden sijainnin perusteella suhteessa kyseiseen tasoon. Suora analyysi osoittaa, että tämä menettely antaa odotetun approksimaatiokertoimen 0,87856 - e. (Leikkauksen odotusarvo on yhtä suuri kuin niiden todennäköisyyksien kaikkien reunojen summa, että reuna tulee leikkaukseen, ja tämä odotus on verrannollinen kulman vektorien väliseen kulmaan reunan päätypisteissä. Jos tätä todennäköisyyttä verrataan , suhteen odotus on aina vähintään 0,87856.) Olettaen ainutlaatuisen pelin oikeellisuushypoteesi, voidaan osoittaa, että tämän approksimaatiokerroin on pääosin optimaalinen. $\mathbf {R^{n}}$ $\cos ^{-1}\langle v_{i},v_{j}\rangle$ $(1-\langle v_{i},v_{j}\rangle )/{2}$

Goemansin ja Williamsonin julkaisun jälkeen SDP-ongelmia on sovellettu useiden approksimaatioalgoritmien kehittämiseen. Prasad Raghavendra kehitti äskettäin yleisen järjestelmän rajoitteiden tyytyväisyysongelmiin perustuen ainutlaatuiseen pelihypoteesiin [3] .

Algoritmit

SDP-ongelmien ratkaisemiseen on useita erilaisia algoritmeja. Näiden algoritmien tulos on SDP-tehtävän arvo enintään , joka saadaan ajassa, joka riippuu polynomiaalisesti tehtävän koosta ja . $\epsilon$ $\log(1/\epsilon )$

Interior Point Methods

Useimmat ratkaisujärjestelmät perustuvat sisäpistemenetelmään (CSDP, SeDuMi, SDPT3, DSDP, SDPA), joka on vankka ja tehokas yleisiin lineaarisiin SDP-ongelmiin. Lähestymistavan käyttöä rajoittaa se seikka, että algoritmit ovat toisen asteen menetelmiä ja vaativat suuria (ja usein tiheitä) matriisien muistamista ja hajottamista.

Ensimmäisen tilauksen menetelmät

Ensimmäisen asteen menetelmät kartiomaiseen optimointiin välttävät suurten Hessin matriisien tallentamista ja hajottamista, ja niitä voidaan soveltaa paljon suurempiin ongelmiin kuin sisäpistemenetelmät tarkkuuden menettämisen kustannuksella. Menetelmä on toteutettu "SCS-ratkaisija"-järjestelmässä.

Sädemenetelmä

SDP-ongelma on muotoiltu ei-sileäksi optimointiongelmaksi ja se ratkaistaan spektrisädemenetelmällä. Tämä lähestymistapa on erittäin tehokas tietyissä lineaaristen SDP-ongelmien luokissa.

Muut

Yleistettyyn Lagrangian menetelmään (PENSDP) perustuvat algoritmit ovat käyttäytymiseltään samanlaisia kuin sisäpistemenetelmät ja niitä voidaan mukauttaa joihinkin erittäin suuriin ongelmiin. Muut algoritmit käyttävät matalan tason tietoa ja muotoilevat SDP-ongelman uudelleen epälineaariseksi ohjelmointiongelmaksi (SPDLR).

Sovellukset

Puolimääräistä ohjelmointia on käytetty likimääräisten ratkaisujen löytämiseen kombinatorisiin optimointiongelmiin, kuten maksimileikkaustehtävän ratkaisemiseen approksimaatiokertoimella 0,87856. SDP-ongelmia käytetään myös geometriassa tensegrity-graafien määrittelemiseen, ja ne esiintyvät säätöteoriassa lineaarimatriisi-epäyhtälöinä .

Kirjallisuus

Lieven Vandenberghe, Stephen Boyd. Semidefinite Programming // SIAM Review 38. - 1996. - maaliskuu. - S. 49-95 .
Monique Laurent, Franz Rendl. Puolimääräinen ohjelmointi ja kokonaislukuohjelmointi/raportti PNA-R0210, CWI, Amsterdam . - 2002 - huhtikuu.
E. de Klerk. Puolimääräisen ohjelmoinnin näkökohdat: sisäpistealgoritmit ja valitut sovellukset. - Kluwer Academic Publishers, 2002. - ISBN 1-4020-0547-4 .
P. Raghavendra. Optimaaliset algoritmit ja epäsuorat tulokset jokaiselle CSP:lle? // Proceedings of the 40th Annual ACM Symposium on theory of Computing (Victoria, British Columbia, Kanada, 17.–20. toukokuuta 2008). STOC'08 . - New York, NY: ACM, 2008. - S. 245-254.
Robert M Freund. Johdatus puolimääräiseen ohjelmointiin (SDP) .
Michel X. Goemans, David P. Williamson. Parannetut approksimaatioalgoritmit maksimileikkaus- ja tyydyttävyysongelmiin käyttämällä puolimääräistä ohjelmointia // JACM. - 1995. - marraskuu ( nide 42 , numero 6 ). - S. 1115-1145 . doi : 10.1145 / 227683.227684 .

Linkit

Linkkejä alan esittelyihin ja tapahtumiin
László Lovászin luentomuistiinpanot puolimääräisestä ohjelmoinnista

Optimointimenetelmät _
Yksiulotteinen	kultaisen leikkauksen menetelmä Dikotomia Paraabeli menetelmä Verkkohaku Yhtenäinen lohkohakumenetelmä Fibonaccin menetelmä Kolminkertainen haku Piyavsky menetelmä Vahva menetelmä
Nolla järjestys	Gaussin menetelmä Nelder-Meadin menetelmä Hook-Jeeves -menetelmä Rosenbrockin menetelmä Powellin menetelmä
Ensimmäinen tilaus	gradienttilasku Zeutendijk menetelmä Koordinaattilasku Konjugaattigradienttimenetelmä Kvasi-Newtonilaiset menetelmät Levenberg-Marquardt-algoritmi
toinen tilaus	Newtonin menetelmä Newton-Raphsonin menetelmä Broyden-Fletcher-Goldfarb-Shanno-algoritmi (BFGS)
Stokastinen	Monte Carlon menetelmä Simuloitu hehkutus Evoluutioalgoritmit differentiaalinen evoluutio Ant algoritmi Hiukkasparvimenetelmä Mehiläisyhdyskunnan algoritmi Satunnainen kävelymenetelmä
Lineaariset ohjelmointimenetelmät _	Yksinkertainen menetelmä Gomorin algoritmi Ellipsoidi menetelmä Potentiaalinen menetelmä
Epälineaariset ohjelmointimenetelmät	Jaksottainen neliöllinen ohjelmointi