확률적 경사 강하

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

확률적 경사 강하(흔히 SGD로 약칭됨)는 적절한 평활성 특성(예: 미분 가능 또는 하위 미분 가능)을 가진 목적 함수를 최적화하는 반복 방법이다.실제 구배(전체 데이터 집합에서 계산)를 추정치(임의로 선택된 데이터의 하위 집합에서 계산)로 대체하기 때문에 구배 강하 최적화의 확률적 근사치로 간주할 수 있다.특히 고차원 최적화 문제에서 이는 매우 높은 계산 부담을 줄여 낮은 수렴률을 ^[1]위한 거래에서 더 빠른 반복을 달성합니다.

확률적 근사 뒤에 있는 기본 아이디어는 1950년대의 로빈스-몬로 알고리즘으로 거슬러 올라갈 수 있지만, 확률적 경사 강하법은 기계 ^[2]학습에서 중요한 최적화 방법이 되었다.

배경

통계적 추정과 기계학습은 모두 합의 형태를 갖는 객관적 함수를 최소화하는 문제를 고려한다.

${{displaystyle Q(w)=subfrac {1}{n}\sum _{i=1}^{n}Q_{i}(w)}$

여기서 Q$($를 $최소화$하는 $파라미터{\displaystyle }$ w$($$w)$를 추정한다.각 summand $함수{\displaystyle {}_{}}$ ${\displaystyle {Qi}_{}}${\$displaystyle$Q_{i}는$$ 일반적으로 데이터 집합의 i {\$displaystyle$ i$}$번째 관찰과 관련됩니다(훈련에 사용).

고전 통계량에서는 최소 제곱과 최대우도 추정(독립 관측치의 경우)에서 합계 최소화 문제가 발생합니다.합계의 최소화로 발생하는 일반적인 추정치를 M-추정기라고 합니다.그러나, 통계학에서는 국소 최소화를 요구하는 것이 최대우도 ^[3]추정의 일부 문제에 대해 너무 제한적이라는 것이 오랫동안 인식되어 왔다.따라서, 현대의 통계 이론가들은 종종 우도함수의 정지점(또는 도함수의 0, 점수 함수 및 기타 추정 방정식)을 고려한다.

총 최소화 문제는 경험적 위험 최소화에 대해서도 발생한다.이 경우 ${\displaystyle Q_{}i}$ (${\displaystyle }$w $){displaystyle Q_{i}(w)$는$$i {$displaystyle$ i$}$번째$$ $예$에서 손실함수의 $값$이고${\displaystyle }$Q ($)$ {$displaystyle$ Q$(w)}$는 경험적 리스크입니다.

위의 기능을 최소화하기 위해 사용되는 경우, 표준(또는 "배치") 경사 강하 방법은 다음과 같은 반복을 수행한다.

${\displaystyle w:=w-\eta Q(w)=w-{\frac {eta}{n}\sum _{i=1}^{n}\timela Q_{i}(w)}$

$여기$서 ${\$ { $displaystyle \eta }$는 스텝 크기(기계 학습에서는 학습 속도라고도 함)입니다.

많은 경우, SUMD 함수는 합함수와 합 구배를 저렴하게 평가할 수 있는 단순한 형태를 가지고 있다.예를 들어, 통계에서 단일 모수 지수 패밀리는 경제적인 함수 평가와 구배 평가를 허용합니다.

그러나, 다른 경우, 합계 기울기를 평가하려면 모든 가산 함수의 기울기에 대한 값비싼 평가가 필요할 수 있다.훈련 세트가 거대하고 간단한 공식이 존재하지 않는 경우, 구배를 평가하려면 모든 가산 함수의 구배를 평가해야 하기 때문에 구배 합계를 평가하는 데 비용이 매우 많이 든다.모든 반복에서 계산 비용을 절약하기 위해 확률적 경사 강하에서는 모든 단계에서 가산 함수의 하위 집합을 샘플링한다.이는 대규모 기계학습 ^[4]문제의 경우에 매우 효과적입니다.

반복법

확률적(또는 "온라인") 경사 강하 시 Q$($w$)$의 실제 경사도는 단일 표본의 경사도에 의해 근사된다.

${\displaystyle w:=w-\eta\sq_{i}(w)}$

알고리즘은 트레이닝 세트를 스위프하면 각 트레이닝 샘플에 대해 위의 업데이트를 수행합니다.알고리즘이 수렴될 때까지 트레이닝 세트를 여러 번 패스할 수 있습니다.이렇게 하면 각 패스에 대해 데이터를 셔플하여 사이클을 방지할 수 있습니다.일반적인 구현에서는 알고리즘이 ^[5]수렴되도록 적응형 학습 속도를 사용할 수 있습니다.

의사 코드에서 확률적 경사 강하는 다음과 같이 나타낼 수 있다.

단일 샘플에서 실제 구배와 구배 계산 사이의 절충안은 각 단계에서 둘 이상의 훈련 샘플("미니 배치"라고 함)에 대해 구배를 계산하는 것입니다.이것은 "진정한" 확률적 구배 강하보다 훨씬 더 잘 수행될 수 있다. 왜냐하면 코드는 "번치 모드 역전파 알고리즘"이라고 처음 나타난 것처럼 각 단계를 따로 계산하는 대신 벡터화 라이브러리를 사용할 수 있기 때문이다.또한 각 단계에서 계산된 구배가 더 많은 훈련 샘플에 대해 평균화되므로 보다 원활한 수렴이 이루어질 수 있습니다.

확률적 경사 강하 수렴은 볼록 최소화 이론과 확률적 근사 이론을 사용하여 분석되었다.간단히 말해, 학습율$\delta {\displaystyle }$ {$style \eta}$이 적절한 비율로 감소하고 비교적 가벼운 가정 하에 있을 때 확률적 경사 강하(stochastic gradient descent)는 목적 함수가 볼록 또는 의사 볼록일 때 전역 최소값으로 거의 확실하게 수렴되고 그렇지 않을 경우 국소 ^[7][8]최소값으로 수렴된다.이것은 사실 로빈스 가족의 결과이다.-시그문트 정리.^[9]

예

${\displaystyle 예}$를 들어${\displaystyle \stackrel{}{}}$y ^ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ + w ${\displaystyle {}_{}}$x \ $displaystyle \ hat$ { y} $=$ \ 。$w_{1}+w_{2}x}$에서 관찰$({\displaystyle {}_{}{}_{}}$ ${\displaystyle {x2\mathrm{}}_{}\dots ,}$ $)$ {$displaystyle (x_{$1}, $x_{2},\ldots, x_{n$$})$ 및$$ 대응하는 예상 응답$({\displaystyle \stackrel{}{{y\mathrm{}}_{}}}$ 1${\displaystyle \stackrel{}{{}_{}}^,}$ ${\displaystyle y\stackrel{}{{}_{}}^,}$ ${\displaystyle ...,}$ ${\displaystyle \stackrel{}{y_{}}}$n ^) {displaystyle$({\hat {1},$ {n}) {n}, \$hat},$ {n}, {n}, {n}, {n}, {n}, {n}, {n}, {n}, {n}, {n}, {n}, {n최소화하는 목적 함수는 다음과 같습니다.

$({displaystyle Q(w)=\sum _{i=1}^{i}\left\hat {y_{i}}-y_{i}\right)^{2}=\sum _{i=1}^{n}\left(w_{1}+{i}_i}-{x}_i})=\sum$

이 특정 문제에 대한 위의 의사 코드의 마지막 행은 다음과 같습니다.

${\displaystyle {bmatrix}w_{1}\w_{2}\end{bmatrix}:=param {bmatrix}w_{1}\\w_{2}\end{bmatrix}-\eta {\frac {\frac}{\frac w_{1}(w_{1}+w_{2}x_y_{i}^2}\\frac {{bmatrix})}$

각 반복(업데이트라고도 함)에서 그라데이션은 모든 샘플 세트가 아닌 단일 $지점{\displaystyle {}_{}}$ x $(\$})에서만$$ 평가됩니다.

표준(배치) 경사 강하와 비교되는 주요 차이점은 데이터 집합의 데이터를 하나만 사용하여 단계를 계산하고 각 단계에서 데이터 조각을 무작위로 선택한다는 것입니다.

주목할 만한 응용 프로그램

확률적 경사 하강은 (선형) 지원 벡터 기계, 로지스틱 회귀(예: 서약팔 와빗 참조) 및 그래픽 ^[10]모델을 포함한 기계 학습의 광범위한 모델을 훈련하기 위해 널리 사용되는 알고리즘이다.역전파 알고리즘과 결합하면 인공신경망을 ^[11]훈련하기 위한 사실상의 표준 알고리즘이다.지구물리학 커뮤니티, 특히 FWI(^[12]Full Waveform Inversion) 응용 프로그램에서도 이 사용이 보고되었습니다.

확률적 경사 하강은 또한 널리 사용되는 L-BFGS ^{[citation needed]}알고리즘과 경쟁한다.확률적 경사 강하(stochastic gradient descent)는 원래 ^[13]ADALIN이라는 이름으로 선형 회귀 모델을 훈련하기 위해 적어도 1960년부터 사용되어 왔다.

또 다른 확률적 경사 강하 알고리즘은 최소 평균 제곱(LMS) 적응 필터입니다.

확장 및 변형

기본적인 확률적 경사 강하 알고리즘에 대한 많은 개선이 제안되고 사용되었다.특히 머신러닝에서는 학습률(스텝 사이즈)을 설정할 필요성이 문제로 인식되고 있습니다.이 파라미터를 너무 높게 설정하면 알고리즘이 분산될 수 있습니다.너무 낮게 설정하면 ^[14]컨버지가 느려집니다.확률적 구배 강하의 개념적으로 단순한 확장에 의해 학습률이 반복수 t의 감소함수 θ가_t 되어 학습률 스케줄이 주어지고, 첫 번째 반복은 파라미터의 큰 변화를 가져오지만, 이후 반복은 미세조정만 한다.이러한 일정은 MacQueen의 k-평균 클러스터링 ^[15]연구 이후 알려져 왔다.Spall은 SGD의 여러 변형에서 단계 크기를 선택하는 방법에 대한 ^[16]실제 지침을 제공한다.

암묵적 갱신(ISGD)

앞서 언급했듯이, 고전적인 확률적 경사 강하법은 일반적으로 학습 속도 δ에 민감하다.빠른 컨버전스는 높은 학습률을 요구하지만 이는 수치적 불안정성을 유발할 수 있다.이 문제는 현재가 아닌 다음 반복 시 확률적 구배를 평가하는 암묵적 업데이트를 고려함으로써 크게 해결할^[17] 수 있다.

$\displaystyle w^{\rm {new}:=w^{\rm {old}}-\eta \sq_{i}(w^{\rm {new})}$

${\displaystyle {\mathrm{이}}^{}}$ 방정식은 wn e$$ {\$display$ w$^{\rm {new}}}$가 방정식의 양쪽에 $나타나므로{\displaystyle {}^{}}$ 암묵적입니다.업데이트는 다음과 같이 기록될 수 있으므로 근위 경사법의 확률적 형식이다.

${\displaystyle w^{\rm {new}:=\min \{w}\{Q_{i}(w)+{\frac {1}{2\eta}} w-w^{\rm {old}}^{2}\}.}$

예를 들어 $기능{\displaystyle {}_{}}$ ${\displaystyle {x\mathrm{}}_{}}$1,${\displaystyle \dots ,}$ ${\displaystyle {}_{}}$ $r$ R $p,$ $x_{n}\in \mathbb {R}^{p}$ 및$$ $관찰{\displaystyle {}_{}}$ ${\displaystyle {y\mathrm{}}_{}}$1,${\displaystyle \dots ,}$ ${\displaystyle y_{}}$ n${\displaystyle {}_{}r\mathbb{}}$R {\$displaystyle y_{1$}, \$ldots,$y${n}\in \mathbb$R$\}$을 가진 최소 제곱에 대해 설명합니다.

${\displaystyle \min _{w}\sum _{j=1}^{n}(y_{j}-x_{j}'w)^{2}$

$여기$서 ${\displaystyle x_{}^{}}$ j ${\displaystyle {}_{}^{}}$ ${\displaystyle w}$ ${\displaystyle =}$ ${\displaystyle {}_{}}$ ${\displaystyle j_{}}$ ${\displaystyle 1_{}}$ ${\displaystyle {}_{}{}_{}{1\mathrm{}}_{}}$ + ${\displaystyle {}_j}$ , ${\displaystyle 2_{}}$ ${\displaystyle {w\mathrm{}}_{}}$2${\displaystyle }$+${\displaystyle }$. + ${\displaystyle {}_j}$ , ${\displaystyle {}_{}{}_{}}$ w \ $displaystyle$ x _ { $j$} 'w$$=$x$_ { $j1}$+ $x _$ {$j$ ,$2}$ w $_${2$} +$$+x_{j,p}w_{p}$는 내부 제품을 나타냅니다.x(\displaystyle x$)$는 $절편을 포함$하는 첫 번째 요소로 "$1{\displaystyle }$"을 사용할 수 있습니다.고전적 확률적 경사 강하법은 다음과 같이 진행된다.

$\displaystyle w^{\rm {new}}=w^{\rm {old}}+\eta(y_{i}-x_{i}'w^{\rm {old}})x_{i}$

$여기$서 i${displaystyle$ i$}$는 $1$과$$n{$displaystyle$ n$\}$ 사이에서 균일하게 샘플링됩니다. 이 절차의 이론적 수렴은 비교적 가벼운 가정하에서 발생하지만 실제로는 절차가 상당히 불안정할 수 있습니다.$특히{\displaystyle }$${\displaystyle ,}$ I - ${\displaystyle {}_{}}$ ${\displaystyle {}_{}{}_{}^{}}$ i ${\displaystyle x_{}^{}}$ i ${\$ { $displaystyle I-\eta x_{i}x_{i}''$ 가$$ 높은 확률로 절대 고유값을 $가지도록{\displaystyle }$ ${\$ { $displaystyle$ \eta $}$ 가 잘못$$ 지정되었을 경우, 수회 반복 내에 수치적으로 분산될 수 있다.이와는 대조적으로 암묵적 확률적 경사 강하(ISGD로 단축됨)는 다음과 같이 닫힌 형태로 해결할 수 있다.

$\displaystyle w^{\rm {new}=w^{\rm {old}+{1+\eta x_{i}^{2}(y_{i}-x_{i}'w^{\rm {old}})x_{i}.}$

이 절차는 학습 속도가 정규화되었기 때문에 사실상 $§(\displaystyle$ \eta$$$)$에 대해 안정적인 수치로 유지됩니다.최소 제곱 문제에서 고전적 및 암시적 확률적 경사 강하 간의 비교는 최소 평균 제곱(LMS)과 정규화된 최소 평균 제곱 필터(NLMS) 간의 비교와 매우 유사하다.

ISGD를 위한 폐쇄형 솔루션은 최소 정사각형에서만 가능하지만, 이 절차는 광범위한 모델에서 효율적으로 구현될 수 있습니다.구체적으로 ${\displaystyle {Qi}_{}}$(${\displaystyle w}$ $){$$displaystyle$ $Q_{i}(w)$가 ${\displaystyle {기능x}_{}}$i$(\displaystyle x_{i$를 가진 선형 조합을 통해서만 w$(\displaystyle$x_{i})에 $의존$한다고 가정하면,${\displaystyle {\mathrm{}}_{}}$that ${\displaystyle {}_{}{}_{}}$ ( w${\displaystyle }$) ${\displaystyle =}$ -$q$ ( ${\displaystyle x_{}^{}}$ ${\displaystyle {}_{}^{}w}$ ) ${\displaystyle x_{}}${ $displaystyle {$ $w$ } = { w } {$i$} {i } { displaystyle w } 라고 쓸 수 있습니다.$)$ {\$displaystyle$ q$()\in \mathbb {R}$은$($는) ${\displaystyle {xi}_{}}$ {$displaystyle x_{i$}, $y_{i$}}에도 의존할 수 있지만 ${\displaystyle {xi}_{}^{}}$ w {$displaystyle x_{i}$를$$제외하고 w {$display$ w$}$에는 의존하지 않습니다.최소 제곱은 이 규칙을 따르기 때문에 대부분의 선형 모델입니다.예를 들어 $q{\displaystyle }$ ( ${\displaystyle x_{}^{}}$ i${\displaystyle {}_{}^{}w}$w ) ${\displaystyle =}$ ${\displaystyle y_{}}$- ${\displaystyle {}_{}^{}}$ ${\displaystyle i_{}^{}w}$w { $displaystyle q$ ( $x$_ { $i$} )= $y _$ { i${\displaystyle {}_{}^{}}$} - x _ { i }'$w$$\}$ ${\displaystyle {및}_{}^{}}$ ${\displaystyle 로지스틱}$ $회귀{\displaystyle {}_{}}$ ${\displaystyle (}$ x $x$ w )= ${\displaystyle y}$ -$$S ( ${\displaystyle x_{}^{}}$ i$$w ) { $display style =$ { i _ i _ i _ { $i$} { w$$} { w } { w } { w } { w 。오기스트 함수포아송 회귀 $분석$에서는${\displaystyle }$q ( ${\displaystyle x_{}^{}}$ i${\displaystyle {}_{}^{}w}$w ) $=$ ${\displaystyle y_{}}$- ${\displaystyle {}^{}}$ ${\displaystyle {x_{}^{}}^{}}$ i${\displaystyle {{}_{}^{}w}^{}}$w \ $displaystyle$q($x_{i}'w$)= y_{$i}-e^{x_{i}'w$ 등입니다$.$

이러한 설정에서는, ISGD는 다음과 같이 간단하게 실장됩니다.${\displaystyle f}$( ${\displaystyle )}$ ) ${\displaystyle =q}$ ( ${\displaystyle x_{}^{}}$ i ${\displaystyle {}_{}^{}}$ ${\displaystyle w{}^{}}$ ${\displaystyle l^{}}$ d${\displaystyle {}^{}}$+ ${\displaystyle x{}_{}{}^{\mathrm{}}}$ x i ${\displaystyle 2_{}}$ )${\displaystyle {}^{}}${$display style$ f ( \ $xi$ ) = \$eta$q ( $x$_ { $i$} ' w^ {$old$} + \ $xi$ x _ { $i }$ ^ {2}$$} 。$여기$서 ${\$ \ $displaystyle$ \ $xi$} 。즉, ISGD는 다음과 같습니다.

$\displaystyle w^{\rm {new}=w^{\rm {old}}+\xi^{i},~{\text{where}}~\xi^{\ast}=f(\xi^{\ast})}$

스케일링 팩터 $\xi {\displaystyle {}^{}r\mathbb{}}$ R ${\$$in$ $\mathbb {R}}$은(는) 앞서 말한 일반 선형 모델 등 대부분의 정규 모델에서 $함수{\displaystyle }$q${\displaystyle (}$) {$displaystyle q()$가 감소하므로 $이등분법$으로 구할 수 있습니다$.$${\displaystyle e}$ [${\displaystyle \min }$ (${\displaystyle 0}$ ,${\displaystyle }$f (${\displaystyle 0}$ )${\displaystyle }$、${\displaystyle max}$ (${\displaystyle 0}$)$]{$ $displaystyle$[ \$min$ ($0$ ,$f$( $0$ ) ] 、 \$max$ ($0$ ,$f$ ( 0 ) $}$]

모멘텀

다른 제안으로는 Rumelhart, Hinton 및 Williams의 역전파 ^[18]학습에 관한 논문에서 나타난 모멘텀 방법이 있다.운동량을 포함한 확률적 경사 강하에서는 각 반복에서 업데이트 δW를 기억하고 다음 업데이트를 경사도와 이전 ^[19][20]업데이트의 선형 조합으로 결정한다.

$\displaystyle \Delta w:=\alpha \Delta w-\eta \displayla Q_{i}(w)}$

${\displaystyle w:=w+\Delta w}$

그 결과:

${\displaystyle w:=w-\eta \displayla Q_{i}(w)+\alpha \Delta w}$

Q$)$를 $최소화$하는 $파라미터{\displaystyle }$w$(\$$displaystyle$ Q$(w)$를 추정한다.여기서$\delta {\displaystyle }$(\$displaystyle \eta)$는 스텝 크기(기계학습에서는 학습률이라고도 함)이고$$α(\$displaystyle \alpha)$는 상대적인 기여도를 결정하는 0과 1 사이의 지수 감쇠 계수이다.무게 변화에 대한 현재 기울기 및 이전 기울기의 n.

모멘텀이라는 이름은 물리학의 모멘텀에 비유한 것에서 유래합니다. 무게 $벡터 w$는 파라미터 ^[18]공간을 이동하는 입자로 간주되며 손실의 기울기("힘$")$에서 가속을 일으킵니다.전형적인 확률적 경사 하강과는 달리, 그것은 계속 같은 방향으로 이동하는 경향이 있어 진동을 방지한다.모멘텀은 ^[21]수십 년 동안 컴퓨터 과학자들에 의해 인공 신경망의 훈련에서 성공적으로 사용되어 왔다.운동량 방법은 언더댐프 랑게뱅 역학과 밀접하게 관련되어 있으며 시뮬레이션 어닐링과 결합될 수 있다.^[22]

평균화

1980년대 후반에 Ruppert와 Polyak에 의해 독립적으로 발명된 평균 확률적 경사 강하법은 시간에 따른 매개변수 벡터의 평균을 기록하는 일반적인 확률적 경사 강하이다.즉, 업데이트는 일반적인 확률적 경사 강하와 동일하지만 알고리즘은 또한 다음을 추적합니다^[23].

$w$ ${\displaystyle =}$ ${\displaystyle 1\frac{\mathrm{}}{}}$ ${\displaystyle \frac{t}{}}$ ${\displaystyle \sum \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{i}}}$ ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{}}}$t - ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}{}_{}}$ ${\displaystyle i_{}}$= { $displaystyle${ w$$}$$=$sum _ {$ i =$0$}^{ $t-1} w$_ { $i$}

최적화가 완료되면 이 평균 파라미터 벡터가 w를 대신합니다.

아다그라드

AdaGrad(적응 구배 알고리즘용)는 매개변수당 학습 속도를 가진 수정된 확률 구배 강하 알고리즘으로,^[24] 2011년에 처음 출판되었다.비공식적으로 이것은 희소 파라미터의 학습률을 증가시키고 희소성이 낮은 파라미터의 학습률을 감소시킵니다.이 전략은 종종 데이터가 희박하고 희소 매개변수가 더 유용한 환경에서 표준 확률적 경사 강하보다 수렴 성능을 향상시킨다.이러한 어플리케이션의 예로는 자연어 처리 및 이미지 ^[24]인식을 들 수 있다.아직 기본 학습률 θ이지만, 이것은 외부 제품 매트릭스의 대각선인 벡터 {G_j,j}의 요소와 곱한다.

${\displaystyle G=\sum _{\display =1}^{t}g_{\display }^{\mathsf {T}}$

$여기$서 g ${\displaystyle {}_{}}$ ${\displaystyle \mathrm{\nabla }{}_{}\mathrm{Qi}}$ (${\displaystyle }$w$$) \ $displaystyle g_{\display$ } = \ $displayla Q_{i}(w)$}, 반복 시 구배입니다.대각선은 다음과 같습니다.

${\displaystyle G_{}}$j , ${\displaystyle j_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{t}}}$ ${\displaystyle \underset{}{\overset{}{=}}}$ ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle \underset{}{\overset{}{}}{}_{\tau }^{}}$ $、$ ${\displaystyle {\mathrm{}}_{}^{}}$ 2 \ $displaystyle$ G$_${ j , j } = \ sum _ { \ $displaystyle$=$$1$}^{$ t }g _ { \ $displaystyle$, j }^{ \ $t }^{$ t} }^{ \ $sum$}$$} 、

이 벡터는 반복할 때마다 업데이트됩니다.업데이트 공식은 다음과 같습니다.

${\displaystyle w:=w-\eta,\mathrm {diag}(G)^{-{\frac {1}{2}}\odot g}$^[a]

또는 파라미터별 업데이트로 작성됩니다.

${\displaystyle w_{j}:=w_{j}-{\frac {eta}{\frc {G_{j,j}}}g_{j}.}$

각 {G_(i,i)}은(는) 단일_i 파라미터 w에 적용되는 학습률에 대한 스케일링 계수를 생성합니다.이 인자의 분모는 ${\displaystyle \sqrt{{Gi}_{}}}$ ${\displaystyle \sqrt{{}_{}}}$ ${\displaystyle \sum \sqrt{\underset{}{\overset{}{}}}}$ ${\displaystyle \sqrt{\underset{}{\overset{}{=}}}}$ ${\displaystyle \sqrt{\underset{}{\overset{}{}}{}_{}^{}}}$ g ${\displaystyle \sqrt{{\mathrm{}}_{}^{}}}$ 2$({${\$displayrt {G_{i$}})=$sqrt${\$sum =${\display $=1$}^{$t}g_{\$displate$}}})$이므로 파라미터는 이전 파생상품의 표준이며₂, 극도의 파라미터 업데이트 ^[21]속도는 낮아집니다.

볼록한 문제를 위해 설계된 동안, AdaGrad는 비볼록 ^[25]최적화에 성공적으로 적용되었습니다.

RMSProp

RMSProp(Root Mean Square Propagation의 경우)는 각 파라미터에 대해 학습 레이트가 조정되는 방식이기도 합니다.아이디어는 체중의 학습 속도를 해당 ^[26]체중의 최근 구배 크기의 실행 평균으로 나누는 것이다.먼저 평균 제곱을 기준으로 런 평균을 계산합니다.

${\displaystyle v(w,t):=\caps v(w,t-1)+(1-\caps )(\capsla Q_{i}(w)^{2}}$

$여기$서 $,(\displaystyle\displaystyle)$은 잊어버리는 요인입니다.

파라미터는 다음과 같이 갱신됩니다.

${\displaystyle w:=w-{\frac {\displayrt {v(w,t)}}\displayla Q_{i}(w)}$

RMSProp은 다양한 애플리케이션에서 학습률의 좋은 적응을 보여 왔다.RMSProp은 Rprop의 일반화로 볼 수 있으며 ^[27]풀배치만이 아니라 미니배치에서도 작업할 수 있습니다.

아담

Adam(Adaptive Moment Estimation의 줄임말)은^[28] RMSProp 최적화 도구에 대한 업데이트입니다.이 최적화 알고리즘에서는 그라데이션과 그라데이션의 두 번째 모멘트의 실행 평균이 사용됩니다.$파라미터{\displaystyle {}^{}}$w ( ${\displaystyle t^{}}$) { $display style w$^ { ($$$t$ )$$} a$$ a $function{\displaystyle {}^{}}$L${\displaystyle {}^{}}$( ${\displaystyle t^{}}$ ) { $display style$ L^ {$$( t ) }$$$$, $、$ t { $display style$t$}$ $indexes$ training training training $、$ Adam의 파라미터 업데이트는 다음과 같이 이루어집니다.

${\displaystyle m_{w}^{(t+1)}\왼쪽 화살표 \beta _{1}m_{(t)}+(1-\beta _{1}\nabla _{w}L^{(t)}}}$

$\displaystyle v_{w}^{(t+1)\왼쪽 화살표 \beta _{2}v_{w}^{(t)}+(1-\beta _{2})(\nabla _{w}L^{(t)})^{2}}$

${\displaystyle {m}_{w}=sublic frac {m_{w}^{(t+1)}}{1-\sublic _{1}^{t}}}$

${\displaystyle {v}_{w}=subscfrac {v_{w}^{(t+1)}}{1-\subsci _{2}^{t}}}$

${{displaystyle w^{(t+1)}\왼쪽 화살표 w^{(t)}-\eta {frac {\hat {m}_{w}}{\hat {v}}_{w}}}+\ilon }}}}$

여기서$\beta {\displaystyle }$(\$displaystyle \silon)$는 0으로 분할되는 것을 방지하기 위해 사용되는 작은 스칼라($예$: 10${\displaystyle {}^{}}$-$$ {$displaystyle 10^{-$$8$$\})$$$$$이며, ${\displaystyle {\beta \mathrm{}}_{}}$ 1$($: 0.9$)$과 $β$ 2$(예$: 0.99)는 각각 2차 구배율의 망각 계수이다.스쿼징과 스퀘어 루팅은 요소별로 이루어집니다.

역추적 회선 검색

역추적 선 검색은 경사 하강법의 또 다른 변형입니다.다음 내용은 모두 상기 링크에서 발신됩니다.이는 아르미조-골드스타인 조건이라고 알려진 조건을 기반으로 합니다.두 방법 모두 반복할 때마다 학습 속도를 변경할 수 있지만 변경 방법은 다릅니다.역추적 라인 검색은 함수 평가를 이용하여 아르미조의 상태를 체크하고, 원칙적으로 학습률을 결정하는 알고리즘의 루프가 길고 미리 알 수 없는 경우가 있다.적응형 SGD는 학습률을 결정할 때 루프가 필요하지 않습니다.한편, 적응형 SGD는 모든 n에 대해 f${\displaystyle }$($x$n +${\displaystyle {}_{}{1}_{}}$)${\displaystyle f}$f ( ${\displaystyle {}_{}{n}_{}}$) \ $displaystyle$f ( $x$_ {$n$ + $1)\leq$f ( $x$_ { $n$})의 "descent property"를 보증하지 않습니다.비용 함수의 구배가 글로벌하게 Lipschitz constant L로 Lipschitz continuous이고 학습률이 1/L 순서로 선택되는 경우 SGD의 표준 버전은 백트랙 라인 검색의 특별한 경우입니다.

2차 방법

표준(결정론적) 뉴턴-라프슨 알고리즘의 확률적 아날로그("2차" 방법)는 확률적 근사^{[citation needed]} 설정에서 점근적으로 최적 또는 거의 최적의 반복 최적 형태를 제공한다.Byrd, Hansen, Nocedal 및 ^[29]Singer에 의해 경험적 위험함수에서 총수의 헤시안 행렬의 직접 측정을 사용하는 방법이 개발되었습니다.그러나 최적화에 필요한 헤시안 행렬을 직접 결정하는 것은 실제로는 불가능할 수 있다.직접 헤시안 정보를 필요로 하지 않는 SGD의 2차 버전에 대한 실용적이고 이론적으로 건전한 방법은 Spall 및 ^[30][31][32]기타에 의해 제시된다. (동시 섭동 대신 유한 차이에 기초한 덜 효율적인 방법은 Ruppert에 의해 제시된다.^[33]직접 헤시안 정보가 필요하지 않은 이러한 방법은 위의 경험적 위험 함수의 SUMD 값 또는 SUMD 구배 값(즉, SGD 입력)에 기초한다.특히, 2차 최적성은 경험적 위험 함수에서 산술의 헤시안 행렬을 직접 계산하지 않고도 점근적으로 달성할 수 있다.

메모들

「 」를 참조해 주세요.

• 역추적 회선 검색
• 좌표 강하 – 한 번에 하나의 좌표만 변경할 수 있습니다.
• 선형 분류기
• 온라인 머신 러닝
• 확률적 언덕 등반
• 확률적 분산 감소

레퍼런스

추가 정보

• Bottou, Léon (2004), "Stochastic Learning", Advanced Lectures on Machine Learning, LNAI, vol. 3176, Springer, pp. 146–168, ISBN 978-3-540-23122-6
• Buduma, Nikhil; Locascio, Nicholas (2017), "Beyond Gradient Descent", Fundamentals of Deep Learning : Designing Next-Generation Machine Intelligence Algorithms, O'Reilly
• LeCun, Yann A.; Bottou, Léon; Orr, Genevieve B.; Müller, Klaus-Robert (2012), "Efficient BackProp", Neural Networks: Tricks of the Trade, Springer, pp. 9–48, ISBN 978-3-642-35288-1
• Spall, James C. (2003), Introduction to Stochastic Search and Optimization, Wiley, ISBN 978-0-471-33052-3

외부 링크

• 선형 회귀를 위해 C++, Boost, Ublas에서 확률적 경사 강하 사용
• 기계 학습 알고리즘
• "Gradient Descent, How Neural Networks Learn". 3Blue1Brown. October 16, 2017. Archived from the original on 2021-12-22 – via YouTube.
• Goh (April 4, 2017). "Why Momentum Really Works". Distill. 2 (4). doi:10.23915/distill.00006. 추진력을 설명하는 인터랙티브 페이퍼.