제곱합 최적화

제곱합 최적화 프로그램은 선형 비용 함수와 의사결정 변수에 대한 특정 유형의 제약조건이 있는 최적화 문제다.이러한 제약조건은 의사결정 변수를 특정 다항식 계수로 사용할 때 해당 다항식 SOS 속성을 가져야 하는 형식이다.관련된 다항식의 최대 정도를 고정할 때, 제곱합 최적화는 세미데마파인 프로그래밍에서 이완의 라세레 계층 구조로도 알려져 있다.

제어 이론(특히 다항 벡터 장에서 기술하는 동적 시스템에 대한 다항식 랴푸노프 함수를 검색하기 위한 것), 통계, 금융, 기계 학습 등 다양한 영역에 걸쳐 Sum-of-Square 최적화 기법이 적용되어 왔다.^[1][2][3][4]

최적화 문제

그 문제는 다음과 같이 표현할 수 있다.

${\displaystyle \max_{u\in \mathb {R}^{n}c^{{n}}티유}$

의 대상이 되다

${\displaystyle a_{k,0}(x)+a_{k,1}(x)u_{1}+{1}+\cdots +a_{k,n}(x)u_{n}\in {\text}SOS}\quad (k=1,\ldots, N_{s}).}$

여기서 "SOS"는 제곱합(SOS) 다항식의 클래스를 나타낸다.벡터 $c{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle {}^{}}$ n ${\$ 및$$ 다항식${\displaystyle }${${\displaystyle {k,}_{}}$ ${\displaystyle j_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \{a_{k,j}\}}}$는 최적화 문제에 대한 데이터의 일부로 제공된다$$.$u{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle {}^{}}$ ${\$의 수량이 결정 변수다$$.SOS 프로그램은 SOS 다항식 프로그램의 이중성을 이용하여 세미더파인 프로그램(SDP)으로 변환할 수 있으며, 양성-세항마인드 매트릭스를 이용한 제한된 다항식 최적화를 위한 여유는 다음 절을 참조한다.

이중 문제: 제한된 다항식 최적화

Suppose we have an ${\displaystyle n}$-variate polynomial ${\displaystyle p(x):\mathbb {R} ^{n}\to \mathbb {R} }$ , and suppose that we would like to minimize this polynomial over a subset ${\textstyle A\subseteq \mathbb {R} ^{n}}$. Suppose furthermore that the constraints on the subset $$${\textstyle A}$ can be encoded using ${\textstyle m}$ polynomial equalities of degree at most ${\displaystyle 2d}$, each of the form ${\textstyle a_{i}(x)=0}$ where ${\displaystyle a_{i}:\mathbb {R} ^{n}\to \mathbb {R} }$ is a polynomial of degree at most ${\d$$isplaystyle 2d$ 일반적으로 이 최적화 문제에 대한 비컨벡스 프로그램은 다음과 같다.

${\displaystyle \min _{x\in \mathb {R}^{n}\langle C,x^{\leq d}(x^{\leq d})^{\top }\angle }}}$

대상:

${\displaystyle ⟨}$ ${\displaystyle I_{}}$, ${\displaystyle {}^{}}$ ${\displaystyle {\le }^{}}$ d${\displaystyle {}^{}}$( ${\displaystyle {}^{}}$ ${\displaystyle {\le }^{}}$ ${\displaystyle d^{}{}^{}}$) ${\displaystyle {}^{}}$= ${\displaystyle 0}$ ${\displaystyle \forall \mathrm{}}$ ${\displaystyle \text{i}}$ ${\displaystyle \in }$[ ${\displaystyle m}$ ] [ {\$displaystyle \langle A_{i},x^{\leq d}}^{\$lq d$}}^{\top$}\$rangle =0\qquad \all$i\in $[m]$,(1)

${\displaystyle x_{}}$ ${\displaystyle {\varnothing \mathrm{}}_{}}$= ${\displaystyle 1}$ ${\displaystyle x_{\emptyset }=1$

where ${\textstyle x^{\leq d}}$ is the ${\displaystyle n^{O(d)}}$-dimensional vector with one entry for every monomial in ${\displaystyle x}$ of degree at most ${\displaystyle d}$, so that for each multiset ${\displaystyle S\subset [n], S \leq d,}$ ${\displaystyle x_S=\underset{}{}}$${\displaystyle x_{S}=\prod _{i\in S}x_{i}}$, ${\textstyle C}$ is a matrix of coefficients of the polynomial ${\textstyle p(x)}$ that we want to minimize, and ${\textstyle A_{i}}$ is a matrix of coefficients of the polynomial ${\textstyle a_{i}(x)}$ encoding the ${$$\displaystyle i}$ 부분$$ 집합 ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle \subset }$ ${\displaystyle {}^{}}$ n ${\$의 제약 조건$.$검색 공간에 고정된 추가 상수 색인 $x{\displaystyle {}_{\mathrm{}}}$∅${\displaystyle {}_{}}$= 1 ${\displaystyle x_{\emptyset }=1}$은$($는) 다항식 $p$( x$$) ${\textstyle p(x)}$ 및 $i_{}$ ( $x$) ${\textstyle a_{i}(x)$를 매트릭스 표현으로$$ 작성하는 편의를 위해 추가된다.

이 프로그램은 제약 조건(1)이 볼록하지 않기 때문에 일반적으로 비 컨벡스가 된다.One possible convex relaxation for this minimization problem uses semidefinite programming to replace the rank-one matrix of variables ${\displaystyle x^{\leq d}(x^{\leq d})^{\top }}$ with a positive-semidefinite matrix ${\displaystyle X}$: we index each monomial of size at most ${\displaystyle$$2d}$ by a multiset ${\displaystyle S}$ of at most ${\displaystyle 2d}$ indices, ${\displaystyle S\subset [n], S \leq 2d}$. For each such monomial, we create a variable ${\displaystyle X_{S}}$ in the program, and we arrange the variables ${\displaystyle X_{S}}$ to formthe matrix ${\textstyle X\in \mathbb {R} ^{[n]^{\leq d}\times [n]^{\leq d}}}$, where ${\displaystyle \mathbb {R} ^{[n]^{\leq d}\times [n]^{\leq d}}}$is the set of real matrices whose rows and columns are identified with multisets of elements from ${\$최대 $d{\displaystyle }$ ${\displaystyle d}$에서 크기의 $디스플레이$ $스타일$ n$\}.$ $그런{\displaystyle {}_{}}$ 다음 X ${\displaystyle S_{}}$ ${\$ 변수에 다음과 같은 세미더파인 프로그램을 작성한다$.$

${\displaystyle \min_{X\in \mathb {R}^{[n]^{\leq d}\time [n]^{\leq d}}}\langle C,X\angle }}$

대상:

${\displaystyle ⟨}$ ${\displaystyle I_{}}$, X ${\displaystyle ⟩}$= ${\displaystyle 0}$ ${\displaystyle \forall \mathrm{}}$ i${\displaystyle }$∈${\displaystyle }$[ ${\displaystyle m}$ ${\displaystyle ]}$ ${\displaystyle \langle A_{i},X\angle =0\qquad$\$forall$\ i$\in$[$$$],$ Q ${\textstyle$ Q$}$

${\displaystyle X_{}}$ ${\displaystyle {\varnothing \mathrm{}}_{}}$= ${\displaystyle 1}$ ${\displaystyle X_{\emptyset }=1$

${\displaystyle X_{U\cup V}=X_{S\cup T}\qquad \forall \ U,V,S,T\subseteq [n], U , V , S , T \leq d,{\text{ and}}\ U\cup V=S\cup T}$,

$X$ ${\displaystyle ⪰}$ 0 ${\displaystyle X\succeq$ 0$\},$

여기서 다시 $C$ ${\textstyle C}$은(는) 최소화할$$ 다항식 p$){\textstyle p(x)}$의 계수 행렬이고$$, ${Ai}_{}$ ${\$$textstyle$ $A_{i}$은(는) 다항식 $a_{}$ x$$){\textstyle $a_{i}$의 계수 행렬이며, $하위{\displaystyle }$ 집합 $A$의 i ${\displaystystytytytym$ i$}$ 제약$$ 조건이다.${\displaystyle \subset }$ ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$ ${\$

세 번째 제약조건은 매트릭스 내에서 여러 번 나타나는 모노미알의 값이 매트릭스 전체에서 동일함을 보장하며, $X{\displaystyle }$ ${\displaystyle$ $X$$}$이(가) 2차 형태 x ${\displaystyle {\le }^{}}$ $($ ${\displaystyle {}^{}}$ ${\displaystyle {\le }^{}}$ ${\displaystyle d^{}{}^{}}$) ${\displaystyle {\top \mathrm{}}^{}}$ ${\$d}(x^{\leq d$})^{\top$ $\}\}\}.$

이중성

위의 세미데파인 프로그램을 이중으로 취하여 다음과 같은 프로그램을 얻을 수 있다.

${\displaystyle \underset{}{max}}$ ${\displaystyle \underset{}{y}}$ ${\displaystyle \underset{}{\in }}$ ${\displaystyle \underset{}{{\mathbb{}}^{}}}$ ${\displaystyle \underset{}{{{}^{}}^{}}}$ ${\displaystyle \underset{}{{{\prime }^{}}^{}}}$ ${\displaystyle \underset{}{y^{}}{}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$

대상:

${\displaystyle C-y_{0}e_{\emptyset }-\sum _{i\in [m]}y_{i}$$A_{i}-\sum _{S\cup T=U\cup V}y_{S,T,U,V}(e_{S,T}-e_{U,V}\succeq 0$

We have a variable ${\displaystyle y_{0}}$corresponding to the constraint ${\displaystyle \langle e_{\emptyset },X\rangle =1}$(where ${\displaystyle e_{\emptyset }}$is the matrix with all entries zero save for the entry indexed by ${\displaystyle (\emptyset ,\emptyset )}$), a real variable ${\displaystyle y_{i}}$for each polynomial constraint ${\displaystyle \langle X,A_{i}\rangle =0\quad s.t.i\in [m],}$and for each group of multisets ${\displaystyle S,T,U,V\subset [n]$$, S , T , U , V \leq d,S\cup T=U\cup V}$, we have a dual variable ${\displaystyle y_{S,T,U,V}}$for the symmetry constraint ${\displaystyle \langle X,e_{S,T}-e_{U,V}\rangle =0}$.The positive-semidefiniteness constraint ensures that ${\displaystyle p(x)-y_{0}}$ is a sum-of-squares of polynomials over ${\displaystyle A\subset \mathbb {R} ^{n}}$: by a characterization of positive-semidefinite matrices, for any positive-semidefinite matrix ${\textstyle Q\in \$$mathbb {R} ^{m\times m}}$, we can write ${\textstyle Q=\sum _{i\in [m]}f_{i}f_{i}^{\top }}$ for vectors ${\textstyle f_{i}\in \mathbb {R} ^{m}}$.따라서 모든 $x$ $\in$ $A$ $\subset$ ${}^{}$ ${\mathbb{}}^{}$ ${\$ A$\subset \mathb {R} ^{n$

${\displaystyle {\begin{aligned}p(x)-y_{0}&=p(x)-y_{0}-\sum _{i\in [m']}y_{i}a_{i}(x)\qquad {\text{since }}x\in A\\&=(x^{\leq d})^{\top }\left(C-y_{0}e_{\emptyset }-\sum _{i\in [m']}y_{i}A_{i}-\sum _{S\cup T=U\cup V}y_{S,T,U,V}(e_{S,T}-e_{U,V})\right)x^{\leq d}\qquad {\text{by symmetry}}\\&=(x^{\leq d})^{\top }\left(\sum _{i}f_{i}f_{i}^{\top }\right)x^{\leq d}\\&=\sum _{i}\langle x^{\leq d},f_{i}\rangle ^{2}\\&=\sum _{i}f_{i}(x)^{2},\end{aligned}}}$

여기서 최대 $d{\displaystyle }$ ${\displaystyle$ d$}$에서 도 다항식의 계수로$$ 벡터 $f_{}$ ${\$를 식별했다$.$$이$는 A ${\displaystyle \subset }$ R ${\displaystyle {}^{}}$ ${\$에 대한 $p$( x$$) $\ge$ ${y\mathrm{}}_{}$ 0 ${\$의 값을 제곱합으로 나타낸다$.$

위의 내용은 다항식 불평등으로 정의된 지역$$ $A{\displaystyle }$ ${\displaystyle \subset }$ ${\displaystyle {}^{}}$ ${\$ {$R} ^{n}$까지 확장될 수 있다.

제곱합 계층 구조

Lassere 계층 구조라고도 알려진 SOS 계층 구조는 파워가 증가하고 계산 비용이 증가하는 볼록한 완화의 계층이다.각 자연수 $d$ $\in$ $N\mathbb{}$ ${\$에 대해 해당하는$$ 볼록 이완은 SOS 계층 구조에서 $d$ ${\textstyle d}$ th$$ 수준 또는 $d$ ${\textstyle d}$ th$$ 라운드라고 알려져 있다.$d$= $1$ ${\$$textstyle$ $d=1}$인$$$경우\mathrm{}$ 1 ${\$$textstyle$ d=1} st$$ 라운드는 기본 세미데마인이트 프로그램에 해당하거나 최대 2 ${\displaystyle$ $2$$}$의 다항식에 대한 제곱합 최적화에 해당한다$.$ 계층의 $1\mathrm{}$ ${\textstyle$ 1$}$ st$$ 레벨에서 기본 볼록 $프로그램$을 d${\textstyled}$ th$$ 레벨로 확장하기 위해 a프로그램에 추가 변수와 제약 조건이 추가되어 프로그램이 최대 $[\displaystyle 2d}$의 도 다항식을 고려하도록 한다$.$

SOS 계층 구조는 $d$ ${\textstyle d}$ th$$ 수준에서 목표 함수의 값이 이중(duality)을$$ 통해 최대 $[\textstyle 2d}$의 다항식을 사용하는 제곱합 증명과 경계를 이루었다는 사실에서 그 이름을 유래한다(위의 "이중성" 참조).따라서 최대 $[\textstyle 2d}$에서 정도의 다항식을 사용하는 모든 제곱합 증거를 사용하여 객관적 가치를 구속할 수 있으며$$, 이는 완화의 엄격함에 대한 보증을 증명할 수 있다.

버그의 정리와 함께, 이것은 충분히 많은 라운드를 주어, 어떤 정해진 간격에 있어서 이완이 임의로 타이트하게 된다는 것을 더욱 암시한다.Bergresult[5][6]은 경계 간격 내에서 모든non-negative 실제 다항식 정확도ϵ{\textstyle \epsilon}내에서 그 간격에 충분히 높은 정도의 진정한 다항식이고 또한 함수로 만약 OBJ()){OBJ())\textstyle}은 다항 목표 값을 sum-of-squares과 가깝 수 있다고 말한다. 흙의e point $x$ ${\textstyle x$ $불평등$ c$$+ $ϵ$- O $B$ $J$( x$$) $\ge$ $0$ ${\textstyle$ c$+\epsilon -OBJ(x)\geq$0}이(가) 관심 영역의$$ $모든$x {\$textstyle$ x$}$에 대해 $있으면$ 이 사실에 대한$$ 제곱합이 있어야 한다.$c$ ${\textstyle c}$을(를) 실현 가능한 영역에 대한 목표 함수의 최소값으로 선택하면$$ 결과가 나온다.

계산원가

$n$ ${\textstyle n}$ 변수의$$ 함수를 최적화할 때, $계층$의 d$${\$textstyle d}$ th$$ 수준을 $n{}^{}$ $O^{}$( d )${\$ n$^{O(d)}$ 변수에$$ 대한 세미데마인 프로그램으로 작성할 수 있으며, 타원형 $방법$을 사용하여$$ n $O^{}$($){\$ n$^{O(d)}$ 시간 내에 해결할 수 있다.

제곱합 배경

A polynomial ${\displaystyle p}$ is a sum of squares (SOS) if there exist polynomials ${\displaystyle \{f_{i}\}_{i=1}^{m}}$ such that ${\displaystyle p=\sum _{i=1}^{m}f_{i}^{2}}$. For example,

${\displaystyle p=x^{2}-4xy+7y^{2}}$

다음부터 제곱합이다.

${\displaystyle p=f_{1}^{2}+f_{2}}^{2}}$

어디에

${\displaystyle f_{1}=(x-2y){\f_{2}={\sqrt{3}y.}$

$p{\displaystyle }$ ${\displaystyle p}$이(가)^[7][8][9] 제곱합인 경우 $모든{\displaystyle }$ x${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}${\$displaystyle x\in \mathb {R} ^n}$에 $대해{\displaystyle }$p (${\displaystyle x}$ )${\displaystyle 0}$ 0$${\$displaystystyle p(x)\geq$ 0$\}.$ 다항식 SOS에 대한 자세한 설명을 사용할 수 있다.

2차 형태는 $p{\displaystyle }$( ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle {}^{}}$ ${\displaystyle T^{}}$ Q ${\displaystyle x}$ ${\displaystyle p(x)=x^{$$Q{\displaystyle }$ ${\displaystyle Q}$이(가) 대칭 행렬인 T$}Qx}.$마찬가지로 degree 2d의 다항식도 다음과 같이 표현할 수 있다.

$[\displaystyle p(x)=z(x)^{T}Qz(x),}$

여기서 벡터 $z{\displaystyle }$ ${\displaystyle z}$에는 $\le {\displaystyle }$ ${\displaystyle d}$ ${\displaystyle \leq d$의 모든 단수 값이 들어$$ 있다.이것은 그램 매트릭스 형태라고 알려져 있다.중요한 사실은 $p{\displaystyle }$( ${\displaystyle x}$)${\displaystyle }$= z (${\displaystyle }$x${\displaystyle {}^{}}$) ${\displaystyle T}$ ${\displaystyle Q}$ z${\displaystyle }$( ${\displaystyle x}$ )$$( x${\displaystyle }$) {\$displaystyle p}=z($x$$)^와 같은 대칭적이고 양의 smidefinite 행렬 $Q{\displaystyle }$ ${\displaystyle Q}$이 있는 경우에만 p ${\displaystystyle$ p$}$이 SOS라는$$ 것이다.${T}Qz(x$ 이것은 SOS 다항식 및 양성-세미드핀 행렬 사이에 연결을 제공한다.

소프트웨어 도구

• 소스툴스, GNU GPL에 따라 면허가 있다.참조 가이드는 arXiv:1310.4716[산술]에서 이용할 수 있다.강박장애.
• CDCS-sos는 대규모 SOS 프로그램을 처리하기 위한 증강 라그랑지안 방식 해결사 CDCS의 패키지다.
• 줄리아를 위한 JuMP의 SumOfSquares 확장.
• 제한된 다항식 최적화의 이중 문제인 경우, MATLAB/Octave의 경우 GloptiPoly, Python의 경우 Ncpol2sdpa, Julia의 경우 MomentOpt.

참조