근위 구배법

이 문서에는 일반적인 참조 목록이 포함되어 있지만 대응하는 충분한 인라인 인용이 없습니다. 좀 더 정밀한 인용문을 도입하여 이 글의 개선에 도움을 주시기 바랍니다.(2013년 11월) (이 템플릿메시지 삭제 방법 및 삭제 시기 확인)

근위 경사법은 미분할 수 없는 볼록 최적화 문제를 해결하기 위해 사용되는 일반적인 투영 형태이다.

많은 흥미로운 문제들이 형태의 볼록 최적화 문제로 공식화될 수 있다.

${\displaystyle \operatorname {min} \mathbb {R} ^{N}} \sum _{i=1}^{n}f_{i}(x)}$

$여기$서 f ${\displaystyle i_{}}$ ${\displaystyle \text{i}}$ ${\displaystyle =}$ ${\displaystyle 1}$,${\displaystyle \dots ,}$ ${\displaystyle n}$ ${\displaystyle f_{i},\i=1,\$displays,$n}$은 f${\displaystyle }$: ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ {\$displaystyle$ f$:\mathbb {R} ^{N}\rightarrow \mathbb {R}$에서 정의된 볼록 함수이며, 여기서 일부 함수는 구별할 수 없습니다.이는 가장 가파른 하강법, 켤레 경사법 등과 같은 기존의 매끄러운 최적화 기술을 배제한다.대신 근위부 그라데이션 방법을 사용할 수 있습니다.이러한 메서드는 ${\displaystyle {f1\mathrm{}}_{}}$.${\displaystyle }$.${\displaystyle }$. , ${\displaystyle {}_{}}$ { $displaystyle f_{1},$ ..., $f_{n}$ $함수$를 개별적으로 사용하여 쉽게 구현할 수 있는 알고리즘을 도출하는 방식으로 진행됩니다.${\displaystyle {f\mathrm{}}_{}}$1,${\displaystyle }$.${\displaystyle }$.${\displaystyle }$, ${\displaystyle f_{}}$ n$$\ $displaystyle f_{1},$ ..., $f_{n}$ $사이$의 각 비매끄러운 함수는 근접 연산자를 통해 관련되기 때문에 근위부라고 합니다.반복 수축 임계값 알고리즘,^[1] 투영 Landweber, 투영 경사, 교대 투영, 승수의 교대 방향 방법, 교대 분할 Bregman은 근위 알고리즘의 특별한 예입니다.^[2]통계학습이론의 관점 및 적용에 관한 근위경사법의 이론은 근위경사법을 참고하여 학습한다.

표기법 및 용어

${\displaystyle {}^{}}$$(\displaystyle$\$mathbb {R} ^{N$ -차원 유클리드 공간을${\displaystyle }$f : ${\displaystyle {}^{}}$$$N ${\displaystyle \to }$( - ${\displaystyle ,}$ , + $displaystyle$ f$:\mathbb {R}$^{$N}\rightrow$(\$infty,$ + $fty$ C$)$의 도메인이라고 $가정$합니다.$\mathbb {R}^{N$ C$\displaystyle$ C$}$의 인디케이터 함수는 다음과 같습니다.

$\displaystyle \iota _{C:x\map to {begin{cases}0&{\text{if}}x\inC\+\infty &{\text{cases}}x\notinC\end{cases}}$

${\displaystyle p}${ $display style$ p$$} - norm$$ $($、$$（ ）$displaystyle$ \$cdot$\ _ { p$$}$$ )

${\displaystyle \x\_{p}=(x_{1}^{p}+x_{2}^{p}+\cdots+x_{N}^{p}^{1/p}}$

x${\displaystyle {\mathbb{}}^{}}$ $(\$ x$\in \mathbb${R$}^{N$})에서 C$(\displaystyle$ C$)$까지의 거리는 다음과 같이 정의됩니다.

${\displaystyle D_{C}(x)=\min_{y\inC}\x-y\_{2}}$

C$(\displaystyle$ C$)$가 닫히고 볼록한 $경우{\displaystyle }$${\displaystyle {}_{}}$ ${\displaystyle C_{}}$$(\displaystyle$ C$)$에 대한 x${\displaystyle }$${\displaystyle r}$R $(\$ \$mathbb {R} ^{$N$$})의 $투영$은 C(\$displaystyle P_{$${\displaystyle {}_{}}$}$x$${\displaystyle \backslash \mathrm{in}}$$$C${\displaystyle )}$의 ${\displaystyle \mathrm{고유점}}$입니다.

$x에서의$$$f$($$displaystyle$f$)$의 하위 차분은 다음과 같습니다.

$\displaystyle \mathbb {R} ^{N}\mid \forall y\in \mathbb {R} ^{N},(y-x)^{\mathrm {T} u+f(x)\leq f(y).\}}$

볼록 집합(POCS)에 투영

널리 사용되는 볼록 최적화 알고리즘 중 하나는 볼록 집합(POCS)에 투영하는 것이다.이 알고리즘은 여러 볼록한 제약조건을 동시에 만족시키는 신호를 복구/동기화하기 위해 사용됩니다.${$}를$$ 구속조건을 모델링하는 빈 닫힌 볼록 $집합{\displaystyle {}_{}}$ ${$의 지시 함수로 한다.이는 모든 볼록 $집합{\displaystyle {}_{}}$ $(\$의 교차점에 위치하도록 해법을 찾아야 하는 볼록 타당성 문제로 귀결된다. POCS 방식에서 각 $집합{\displaystyle {}_{}}$ $(\$})는$$ 투영 $연산자{\displaystyle {}_{}}$ $(\$에 의해 통합된다.$n{\displaystyle }$ x$(\displaystyle$ x$)$는 다음과 같이 갱신됩니다.

${\displaystyle x_{k+1}=P_{C_{1}}P_{C_{2}}\cdots P_{C_{n}x_{k}}$

그러나 이러한 문제를 넘어서는 프로젝션 운영자는 적절하지 않으며 더 많은 일반 운영자가 이러한 문제에 대처해야 합니다.존재하는 볼록 투영 연산자 개념의 다양한 일반화 중에서 근접 연산자는 다른 목적에 가장 적합하다.

정의.

$x에서$$볼록함수{\displaystyle }$ f${$$displaystyle$ x$}$의 근접연산자는 다음과 같은 고유한 해법으로 정의됩니다.

${\displaystyle \operatorname {bigg} {\f(y)+{\frac {1}{2}}\left\x-y\right\_{2}{\bigg}}}$

${\displaystyle \mathrm{prox}}$ f ${\displaystyle (}$($$x ) { $displaystyle$ \$operatorname {$ parames $}_{f}(x$ 로 ${\displaystyle {\mathrm{표시}}_{}}$됩니다.

$\displaystyle \operatorname {prox} _{f}(x):\mathbb {R} ^{N}\rightarrow \mathbb {R} ^{N}$

f${displaystyle$ f$}$가 일부 볼록 $집합{\displaystyle }$ C${displaystyle$ C$}$의 표시 함수 $\delta {\displaystyle }$$${$displaystyle\iota_{C}$인 경우 유의하십시오.

${\displaystyle{\begin{정렬}\operatorname{prox}_{\iota_{C}}())&,=\operatorname{argmin}\limits _{y}{\begin{경우}{\frac{1}{2}};{\text{만약}}C\\+\infty 및 y\in,{\text{만약}}y\notin C\end{경우}}\\&,=\operatorname{argmin}\limits _{Cy\in}{\frac{1}{2}}x-y\right\ _{2}^{2}& \left\,x-y\right\ _{2}^{2}\\& \left\.=P_ᆩ())\end{정렬}}}$

근접 연산자가 투영 연산자의 일반화임을 보여준다.

$f{\displaystyle }${\$displaystyle$f$$}의 근접 연산자는 다음을 포함하는 것이 특징이다.

${\displaystyle p=\operatorname {f}_{f}(x)\왼쪽 화살표 x-p\in \partial f(p)\qquad(\forall (x,p)\in \mathbb {R}^{N}\times \mathbb {R}^{N}})}$

f$\displaystyle$f가$$ 미분 가능한 $경우{\displaystyle }$ 위의 방정식은 다음과 같이 감소합니다.

${\displaystyle p=\operatorname {f}_{f}(x)\왼쪽 화살표 x-p=\forall (x,p)\in \mathbb {R} ^{N}\times \mathbb {R} ^{N} }$

예

근위부 그라데이션 방법의 특수한 예는 다음과 같습니다.

• 랜드웨버 계획
• 교대로 투영
• 승수의 교호법

「 」를 참조해 주세요.

• 교대로 투영
• 볼록 최적화
• 프랭크 울프 알고리즘
• 근위 연산자
• 학습을 위한 근위 구배법

메모들

레퍼런스

• Rockafellar, R. T. (1970). Convex analysis. Princeton: Princeton University Press.
• Combettes, Patrick L.; Pesquet, Jean-Christophe (2011). Fixed-Point Algorithms for Inverse Problems in Science and Engineering. Vol. 49. pp. 185–212.

외부 링크

• Stephen Boyd와 Lieben Vandberghe Book, Colves 최적화
• EE364a: Colves Optimization I 및 EE364b: Colves Optimization II, Stanford 과정 홈페이지
• EE227A: Lieben Vandenberghe 노트 강의 18
• Proximal Operators.jl: 근위 연산자를 구현하는 Julia 패키지.
• Proximal Algorithms.jl: 근위 구배법을 포함한 근위 연산자에 기반한 알고리즘을 구현하는 Julia 패키지.
• 근접 연산자 저장소: Matlab 및 Python에서 구현된 근접 연산자 모음.