랜덤 좌표 강하

랜덤화(블록) 좌표 강하법은 네스테로프(2010)와 리치타릭 및 타카치(2011)에 의해 널리 보급된 최적화 알고리즘이다.매끄러운 볼록함수를 최소화하는 문제에 적용했을 때, 이 방법의 첫 번째 분석은 Nesterov(2010)^[1]에 의해 수행되었다.네스테로프의 분석에서, 이 방법은 알 수 없는 스케일 계수를 가진 원래 함수의 2차 섭동에 적용될 필요가 있다.리치타릭과 타카치(2011)는 이를 필요로 하지 않는 반복 복잡성 경계를 제공한다. 즉, 방법은 목적 함수에 직접 적용된다.또한 복합함수, 즉 매끄러운 볼록함수와 (아마도 매끄럽지 않은) 볼록 블록 분리 가능 함수의 합을 최소화하는 문제로 설정을 일반화한다.

${\displaystyle F(x)=f(x)+\Psi(x),}$

여기서${\displaystyle }\delta {\displaystyle \mathrm{}}$ (${\displaystyle x}$ ) ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{\delta }}}$ i ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle {\delta }_{}}$i ($x$) ,$${ $displaystyle$$\ Psi$ ( x ) = \ $sum$_ { i } { $n }$ \ Psi $_$$$ { $i$} ( $x ^$ { $i$$$} ) , $x$$display$ $N 은$ n$$의 $변수$로서 분해됩니다.${\displaystyle {\psi \mathrm{}}_{}}$1, …, $n$\ $displaystyle$ \$Psi$ _ ${$1}, \$dots$, \$Psi$_ {n$$} 은 (단순한) ${\displaystyle {\mathrm{볼록함수}}_{}}$이다.

예(블록 분해):$R$${\displaystyle ^\{{}_{}}$}에서$=$ ( x 1, x 2, ${\displaystyle ...}$ , x${\displaystyle {}_{}{5\mathrm{}}_{}}$ )$display$ ${\displaystyle {R\mathrm{}}^{}}$5 ( x _ { 1 , $x _$ {$2}$ , \ $display$ , x$_$ { $5$}$$) ${\displaystyle =}$ ${\displaystyle 3}$( $x$${\displaystyle 1^{}{}_{}}$, ${\displaystyle {}^{}{3\mathrm{}}_{}}$)${\displaystyle {}^{}=}$ ${\displaystyle {x\mathrm{}}_{}{}_{}{}_{}}$)$$、$laystyle$ x$^{(3)}=x_{4$

예(블록 구분 가능 정규화):

1. ${\displaystyle n=N;\Psi(x)=\x\_{1}=\sum _{i=1}^{n} x_{i}}$
2. $=$$$$\Psi(x)=\sum$ _${i=1}^{n}\x^{(i)}\_{$2$\}\}.$ $여기$서 ${\displaystyle {x(}^{}}$i)${\displaystyle {}^{}}$r R^{N_i$}$ 및$$${\displaystyle }$R${\displaystyle ^\{}$$i$}에서 x$($$i)$ r ${\displaystyle {{RNi}_{}}^{}}$${\displaystyle {}_{}}$${\displaystyle {}^{}}$ R^{n_${$$displaystyle \cdot$\{$2}}$는 표준이다.

알고리즘.

최적화 문제를 고려하다

$\displaystyle \min _{x\in R^{n}}f(x),}$

$여기$서 f$\displaystyle$f는$$ 볼록하고 매끄러운 함수입니다.

부드러움:평활성이란 다음과 같은 것을 의미합니다$.f$ {\$displaystyle$ f$$}의 구배는 ${\displaystyle {L\mathrm{}}_{}}$ 1,${\displaystyle {}_{}{L\mathrm{}}_{}}$2${\displaystyle \dots ,}$ $n$ { {$1}, L_{2},$ \$dots, L_{n$ $상수$로 연속되는 좌표와 같은 Lipschitz라고 가정합니다. 즉, 다음과 같이 가정합니다.

$\displaystyle \nabla _{i}f(x+he_{i})-\nabla _{i}f(x)\leq L_{i}h,}$

$모든{\displaystyle }$ x${\displaystyle }$${\displaystyle \mathrm{rn}}$ ${\$ x$\in$ R$^{n}$ $및$ h${\displaystyle }$r$${\$displaystyle$ h$\in$ R$\}$에 대해 지정합니다.${\displaystyle {여기}_{}}$서${\displaystyle {\mathrm{}}_{}}$i$${\$displaystyle$$\nabla$ _${$$i}$는 $변수{\displaystyle {}^{}}$ x$(i)$에 대한 부분 도함수를 나타냅니다$.$

Nesterov, Richtarik 및 Takac은 다음 알고리즘이 최적의 포인트로 수렴됨을 보여 주었습니다.

알고리즘 랜덤 좌표 강하법 입력: $x{\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}{}^{}}$ ${\displaystyle R^{}}$ n$${\$displaystyle x_{0}\in$ R$^{n}$ // 시작점 $출력{\displaystyle }$:$$x {\$displaystyle$x} set x:= x_0 for k :${\displaystyle }$= 1, ${\displaystyle ...,}$ ${\displaystyle n}$ {$style i\{1,\$displaystyle x\{0},\$n$를 균일하게 선택합니다.${\displaystyle i^{}}$) ${\displaystyle {}^{}{}^{}}$ (${\displaystyle i^{}}$) - ${\displaystyle \frac{{}_{}}{}}$ ${\displaystyle \frac{L_{}}{}}$ ${\displaystyle i_{}}$ ${\displaystyle \frac{{}_{}}{}{\mathrm{}}_{}}$ ${\displaystyle {}_{}}$f (${\displaystyle x}$) { $displaystyle$ x^ { ( i ) =$x$^ { ( i ) } - { \ $frac {$1} { L$_$ { $i$} \ $nabla$_ { $i }$f$( x$ ) }종료일 경우

컨버전스

이 알고리즘의 반복은 랜덤 벡터이기 때문에, 복잡도 결과는 방법이 높은 확률로 대략적인 해법을 출력하는 데 필요한 반복 횟수에 대한 한계를 줄 것이다.어디 RL()))[2]에 만약 k 2n≥은 RLϵ ρ){\displaystyle k\geq{\frac{2nR_{나는}(x_{0})}{\epsilon}∗(f(x0)− f⁡}ϵ 로그(x0)\log \left({\frac{f(x_{0})-f^{*}}{\epsilon \rho}}\right)}, max ymax x ∗∈ X∗{‖는 y−)∗ L:f(y)f≤())‖}{공개되었다.\dIsplaystyle R_ᆯ())=\max _{y}\max _{x^{*}\in X^{*}}\{)y-x^{*}\ _{L}:f(y)\leq f())\}}, f({\displaystyle f^{*}}이 최선의 해결책(f∗)분)∈ Rn{f())}{\displaystyle f^{*}=\min _{x\in R^{n}}\{f())\}}), ρ∈(0,1){\displaystyle \rho \in(0,1)}는 신뢰 수준은ϵ>0{년.경멸하다$playstyle \epsilon$> $0$target ,,, , 、 P b( f ( ) - >（ \ $display style$Prob ($f$ ( $x _$ { $k$} ) - $f^$ { * } > \ leq $\rho$ 。

특정 기능의 예

다음 그림은 원칙적으로 x$$(\$style x_{$k$$})가 반복 중에 어떻게 $전개되는지$를 보여줍니다.문제는요.

${\displaystyle f(x)=tfrac {1}{2}}x^{T}\left({\begin{array}{cc}1&0.5&1\end{array}\right)x-x-left({\begin{array}{cc}\right)x,\quad x_{0}=\left\parray{array}{0cc}\right})T}}$

블록 좌표 설정을 위한 확장

좌표 방향을 블록 좌표 방향으로 블록

이 알고리즘은 좌표뿐만 아니라 좌표 블록으로도 자연스럽게 확장할 수 있습니다.$공간{\displaystyle {}^{}}$ $(\$ R$^{$5$\})$가 있다고 가정합니다.이 공간에는 5개의 좌표 방향이 있습니다.${\displaystyle \mathrm{구체적}}$으로는 ${\displaystyle {e\mathrm{}}_{}}$ 1${\displaystyle {}_{}}$ ( ${\displaystyle 1}$,${\displaystyle 0}$, 0${\displaystyle }$, ${\displaystyle 0}$ , 0${\displaystyle {}^{}}$, 0 )${\displaystyle {}^{}{T}^{}{}^{}}$ ${\displaystyle {e\mathrm{}}_{}}$ 2 ${\displaystyle =}$ (${\displaystyle 0}$ ,${\displaystyle 1{}^{}}$,${\displaystyle 0}$ ,${\displaystyle 0}$ , ${\displaystyle 0{}^{}}$) ${\displaystyle T^{}}$ ${\displaystyle {e\mathrm{}}_{}}$ 3 ${\displaystyle =}$ (${\displaystyle 0}$ ,${\displaystyle 0}$ ,${\displaystyle 0}$, 0${\displaystyle {}^{}}$) T${\displaystyle {}^{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {4\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ (${\displaystyle 0}$ ,${\displaystyle 0}$ ,${\displaystyle 0}$ ,${\displaystyle 0}$ , ${\displaystyle 0}$ ,${\displaystyle {}^{}}$0 , $0$ ) ${\displaystyle T^{}}$, e${\displaystyle }$5${\displaystyle }$= 0 , ${\displaystyle 0}$ , ${\displaystyle 0}$ , 0 , 0 , 0 , 0 , 0 , 0 , ${\displaystyle 0}$ , 0 , 0 , 0 , 0 , 0 , 0 , 0 , 0 , 0 ) T$1,0)^{T},e_{5}=(0,0,0,0,$$1)^{$$T}}:$ 랜덤$$ 좌표 강하법을 이동할 수 있습니다.그러나 일부 좌표 방향을 블록으로 그룹화할 수 있으며, 이 5개 좌표 방향 대신 3개 블록 좌표 방향을 가질 수 있습니다(이미지 참조).

「 」를 참조해 주세요.

• 좌표 하강
• 경사 강하강
• 수학적 최적화

레퍼런스