소실 구배 문제

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

기계학습에서는 구배기반 학습방법과 역전파로 인공신경망을 훈련할 때 소멸구배 문제가 발생한다.그러한 방법에서, 훈련의 각 반복 동안, 각 신경망의 가중치는 현재 ^[1]가중치에 관한 오류 함수의 부분 도함수에 비례하는 업데이트를 받는다.문제는 경우에 따라 구배가 매우 작아 체중의 ^[1]값 변화를 효과적으로 막을 수 있다는 것이다.최악의 경우, 이로 인해 신경 네트워크가 추가 훈련을 ^[1]완전히 중단시킬 수 있습니다.문제 원인의 한 예로 쌍곡선 접선 함수와 같은 기존 활성화 함수는 범위(0,1)의 구배를 가지며 역전파는 체인 규칙에 의해 구배를 계산합니다.이것은 이러한 작은 숫자의 n을 곱하여 n 레이어 네트워크에서 초기 레이어의 구배를 계산하는 효과가 있습니다.즉, 초기 레이어가 매우 느리게 훈련하는 동안 구배(에러 신호)는 n과 함께 기하급수적으로 감소합니다.

역전파를 통해 연구자들은 감독된 심층 인공 신경망을 처음부터 훈련할 수 있었지만 처음에는 거의 성공하지 못했다.1991년 Hochreiter의 외교 논문은 다층 피드포워드 ^[4]네트워크뿐만 아니라 반복 ^[5]네트워크에도 영향을 미치는 "사라지는 구배 문제"^[2][3]에서 이러한 실패의 원인을 공식적으로 확인하였다.후자는 매우 깊은 피드포워드 네트워크에 전개함으로써 훈련됩니다.여기서 네트워크에 의해 처리되는 입력 시퀀스의 각 시간 스텝에 대해 새로운 레이어가 생성됩니다(전개 및 역전파의 조합은 시간 경과에 따른 역전파라고 불립니다).

도함수가 더 큰 값을 가질 수 있는 활성화 함수를 사용하면 관련 폭발 경사 문제에 직면할 위험이 있다.

프로토타입 모델

이 섹션의 ^[5]근거는 다음과 같습니다.

반복 네트워크 모델

일반적인 반복 네트워크의 $상태$는 ${\displaystyle {h1\mathrm{}}_{}}$ ${\displaystyle {h2\mathrm{}}_{}}$ $...({displaystyle h_{1}, h_{2}...)$입니다.}은$($는)${\displaystyle {}_{}{u1\mathrm{}}_{}}$,${\displaystyle {}_{}}$u2${\displaystyle ,}$ $...({displaystyle u_{1$},$u_$${$2$\}...)$를 $입력$하고$$${\displaystyle {x1\mathrm{}}_{}}$ x2${\displaystyle ,}$ $...({$$displaystyle$$x_1$},$x_{$2$}...)$를 $출력$합니다$.시스템$이 진화함에 따라 파라미터화됩니다.

$출력{\displaystyle {}_{}}$ x ${\displaystyle t_{}}$ {$display$ $style$ $x$_ { $t$}$$is$$ 、 h $=$ ( h t ) \ $display style$ x _ { t } =$G$ ( $_${$$t )$.$ x x some h h h ${\displaystyle {some}_{}}$ often often often often often often often often often often often often often often often often some$h{\displaystyle {}_{}}$ some some some somedisplay some some some some some some some some some some some some some some some ${\displaystyle {somedisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplaydisplay}_{}}$소실 구배 문제는 x ${\displaystyle t_{}}$ $=$ ${\displaystyle {}_{}}$ ${\displaystyle t_{}}${\$displaystyle x_{t$}=$h_{t$일 때 이미 $명확$하게 나타나므로 식별한다.이 때문에, 델과 델은,이제 그 차이를 살펴보겠습니다.네트워크를 훈련시키려면 최소화할 손실 함수를 정의해야 합니다.Let it be ${\displaystyle L(x_{T},u_{1},...,u_{T})}$^{[note 1]}, then minimizing it by gradient descent gives

${\displaystyle dL=\nabla _{x}L(x_{T},u_{1},...u_{T})\left(\nabla _{\theta }F(x_{t-1},\theta)+\signla _{x}F(x_t-1},u_{tu},\ta},\ta},\ta})$

(손실차이)

여기서$\eta {\displaystyle }$ { $displaystyle \eta }$는 학습률입니다.

형상의 반복적인 증식이 있기 때문에 소실/폭발 구배 문제가 나타난다.

예: Sigmoid 액티베이션이 있는 반복 네트워크

구체적인 예로서 다음과 같이 정의되어 있는 일반적인 반복 네트워크를 생각해 봅시다.

여기서 $\theta {\displaystyle }$ ${\displaystyle =}$ ( ${\displaystyle {\mathrm{Wr}}_{}}$ ${\displaystyle e_{}}$c , ${\displaystyle {\mathrm{Wi}}_{}}$n$$) { $displaystyle \theta$= ($W_{rec}$ )$W_{in}$는 네트워크 파라미터이고$,$ $(\displaystyle$ \$sigma)$는 Sigmoid 활성화^{[note 2]} 함수이며, 각 벡터 좌표에 개별적으로 적용되며$,$ $b{\displaystyle }$(\$displaystyle$ b$)$는 바이어스 벡터입니다.

다음으로,${\displaystyle {\mathrm{}}_x{}_{}}$ F (${\displaystyle x_{}}$ ${\displaystyle {\mathrm{t}}_{}}$ -${\displaystyle {}_{}{}_{}}$ ,${\displaystyle {}_{}u}$ t ,${\displaystyle }$) ) $=$ ${\displaystyle {}_{}}$ ${\displaystyle e}$ ${\displaystyle c}$ ${\displaystyle \mathrm{di}}$ a g${\displaystyle （}$ ${\displaystyle {}_{}}$ x ${\displaystyle （}$ x${\displaystyle {}_{}}$t - $displaystyle \tla$ _${x}F(x_{t-1},u_{t},\theta$)=$W_{rec}\mathop {diag}(\sigma '(x_{t-1$ 등

σ ′ ≤ 1{\displaystyle \sigma의 \leq 1}이후, 위의 곱셈의 연산자 규범 위에 큰 k에서‖ Wrec‖ k(^{k}}. 그래서 만약 Wrec{\displaystyle W_{rec}}의 스펙트럼 반경은γ<1{\displaystyle \gamma<1},{\displays와 접경하고 있다.ktyle$\},$ 위의 곱셈에는 연산자 노름이 $(\displaystyle \displaystyle ^{k$}\$to$0$)$으로 $표시$됩니다$.$이것은 시제품이 사라지는 구배 문제입니다.

소멸 구배 효과는 네트워크가 장기적 효과를 학습할 수 없다는 것입니다.호출 방정식(손실 경사):

$\nabla {\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {}_{}}$（${\displaystyle x}$ ,${\displaystyle u}$ , ${\displaystyle )}$ {\$$） ${\displaystyle （}$ \ display style \$nabla$ _ { \ $seta } F$ ($x$ ,$u$ , \ $theta )$의 컴포넌트는 （${\displaystyle x}$ $)및$$$$u{\displaystyle }$ { $display style$ \$$$sigma$$$$($ x )의 컴포넌트일 뿐이므로, ${\displaystyle u_{}}$- ${\displaystyle 1_{}}$. $display$ style u - t { t$}$의 컴포넌트입니다$.$}은$$(는) 바운드로 되어 있습니다.그러면${\displaystyle {\mathrm{}}_{}}$ ${\displaystyle 「{}_{」(x}{}_{}{}_{}}$- ${\displaystyle k_{}}$ - 1,$u$ t ${\displaystyle -}$ k $),$ 「$F」(x_{t-k-1}, u_{t-k},$\theta $)$도 $>$ $0$${\displaystyle {\mathrm{}}_{}}$> \ $display$ style $M$ 0 으로 $바운드$로 있습니다$.$즉, 사실상 $\nabla {\displaystyle {\mathrm{}}_{}}$ ${\displaystyle {}_{}}${\$displaystyle$ \$nabla$ _${\$${\displaystyle {\mathrm{theta}}^{}}$$}L은$$$합계의 첫 $번째{\displaystyle }$O$(\displaystyle$$$O$(\gamma$^{-$1})$ 항에만$$ 영향을 받습니다.

${\displaystyle \mathrm{\gamma }}$1$$\ $displaystyle$\ $gamma$\$geq$ 1$$, q 、 위의 분석은 제대로 ^{[note 3]}기능하지 않습니다.원형 폭발 경사 문제의 경우 다음 모델이 더 명확합니다.

동적 시스템 모델

(Doya, 1993)^[6]에 이어 Sigmoid 활성화가 있는 이 원뉴론 반복 네트워크를 검토합니다.

$작은{\displaystyle }$ ${\(\displaystyle\epsilon$$)$ 제한에서는 네트워크의 역동성이먼저 ${\displaystyle \mathrm{u}}$ ${\displaystyle =}$ 0$(\displaystyle$ u$=0$ $w{\displaystyle }$${\displaystyle \mathrm{}=}$ 5$(\displaystyle$ w$=$${\displaystyle 5}$.0$)$으로 설정하고${\displaystyle }$b(\displaystyle [-3${\displaystyle ,-}$2$])$로${\displaystyle }$b(\displaystyle [-3$$$,-2$])로 $바리에이{\displaystyle }$ b(\$displaystyle$ b$$$)$를 설정합니다. b$(\$displaystyle [-$3$ b$]$가 감소함에 $따라{\displaystyle }$ 시스템은 1이 안정되고 2가 안정되고 1이 됩니다.다시 가리키다명시적으로 안정점은 (${\displaystyle x}$,${\displaystyle b}$ ) ${\displaystyle =}$ (${\displaystyle x}$ , ${\displaystyle \ln }$ ${\displaystyle }$ ( ${\displaystyle \frac{x\mathrm{}1}{}}$ -${\displaystyle \frac{}{}}$x${\displaystyle }$) - ${\displaystyle 5}$x$$) ( \ $displaystyle ( x$ , b ) = \$left$ ( $x$, \$ln$ \ $lf$\$frac${ x$$} { 1 - $x }$ \$right$ ) $\}$ 입니다.

이제 ${\displaystyle \frac{\delta }{}}$x (${\displaystyle \frac{}{}}$T ) ${\displaystyle \frac{\delta }{}}$x ( ${\displaystyle \frac{0}{}}$) {\$displaystyle {\Delta$x ($T)}$ {\Delta x ($0)}$ 및 ${\displaystyle \frac{\delta }{}}$x (${\displaystyle \frac{T)}{}}$ ${\displaystyle \frac{\mathrm{\delta <img\; alt="\{\backslash displaystyle\; \{\backslash frac\; \{\backslash Delta\; x(T)\}\{\backslash Delta\; x(0)\}\}\}"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/142ced7bde20c8e679878bd14b3b9bc409e5a90a"\; style="vertical-align:\; -2.671ex;\; width:7.547ex;\; height:6.509ex;">}}{}}$ style $b${\$display$ style {\$frac {Delta$ x ($T)}${\$Delta$b에 대해 생각해 보겠습니다.$여기$서$T$는 충분히$$커집니다.

(${\displaystyle x}$ ( ${\displaystyle 0}$) , ${\displaystyle b}$) {$displaystyle ( x$ ($0$$,$ $b$)$$}${\displaystyle }$$puts$ if puts point ( ( ( ${\displaystyle (,,,,,,,,}$0 )${\displaystyle \mathrm{또는}}$ b { $displaystyle$ b$}$의 미세한 변화만으로 x${\displaystyle }$($)$ {$displaystyle$x$($$T)}$가 어느 안정점에서 다른 안정점으로 $이동$합니다.따라서 ${\displaystyle \frac{\delta }{}}$x (${\displaystyle \frac{T}{}}$ ) ${\displaystyle \frac{\delta }{}}$x ( ${\displaystyle \frac{0}{}}$) {\$displaystyle {\Delta$x ($T)}}$ 및$$ ${\displaystyle \frac{\mathrm{}}{}}$x (${\displaystyle \frac{T)}{}}$ ${\displaystyle \frac{\delta }{}}$style {\$display$style {\$delta x$ ($T)}$는 모두$$ 매우 크고, 폭발적으로 증가하는 케이스입니다.

( ${\displaystyle x}$( ${\displaystyle 0}$) ,${\displaystyle b}$) { $displaystyle ( x$ ($0$ , $b$) }이$({\displaystyle }$$가$) 불안정한 지점으로부터 멀리 떨어져 있는 경우${\displaystyle }$x ($0)$ { $displaystyle$x ($0$$)\}$의 작은 $변화$는${\displaystyle }$x (${\displaystyle \frac{T)}{}}$ {$displaystyle$${\displaystyle \frac{x}{}}$ ($T)}$에 $영향$을 주지 않으며, $x$ ($T)$ 0 displaystyle x (0${\displaystyle \frac{)}{}}$가 됩니다.입력.

$이$ 경우 ${\displaystyle \frac{\Delta }{}}$ x${\displaystyle \frac{}{}}$(${\displaystyle \frac{T)}{}}$ ${\displaystyle \frac{\delta }{}}$ b ${\displaystyle \frac{}{}\frac{}{}(\frac{\mathrm{}x}{}}$ ( T${\displaystyle {\frac{}{}}^{}}$)${\displaystyle {\frac{}{}}^{}}$ ${\displaystyle {b\frac{\mathrm{}}{}}^{}}$ ${\displaystyle {\frac{=}{}}^{}}$( ${\displaystyle {\frac{1}{}}^{}}$ ${\displaystyle {\frac{x}{}}^{}}$ ) ( ${\displaystyle {1\frac{}{}}^{}}$-${\displaystyle {\frac{}{}}^{}}$x )${\displaystyle {}^{}}$- 5$$) - ${\displaystyle 1^{}}$ ( \ $display$ style \$frac${ \ $Delta$x ( T ) } { \ \ $Delta$ b } \$frac$x ( T )$=$ { $partial$ } 입니다.사실, 이것은 왜 초기 연구가 안정적인 유인 요소를 ^[7]형성함으로써 장기 범위 계산을 수행할 수 있는 반복적인 네트워크 시스템을 학습하거나 설계하는 데 초점을 맞췄는지 설명합니다(예를 들어, 에피소드 끝에 보이는 첫 번째 입력을 출력하는 등).

일반적인 경우, 직관은 여전히 유효하다.상황은 그림 3, 4, 5에 나타나 있습니다.^[5]

기하학적 모형

위의 1소켓 네트워크를 $사용$하여 w ${\displaystyle =}$ ${\displaystyle 5}$, ${\displaystyle \mathrm{x}}$ (${\displaystyle }$0 ) ${\displaystyle =0}$.5${\displaystyle }$,${\displaystyle u}$ (${\displaystyle t}$ ) $=$ ${\displaystyle 0}$ \ $displaystyle$ w =$5$, x ( 0 ) ${\displaystyle =}$ 0.$5 , u$ ( ${\displaystyle t}$ )${\displaystyle =}$ 0$\}$ ==${\displaystyle \mathrm{style}}$、 ( 0 .${\displaystyle \mathrm{855}}$- x${\displaystyle }$(${\displaystyle {}^{T\mathrm{}}}$ ) ${\displaystyle 2}$ （ T ) $display L$ ( x${\displaystyle }$) $style$ L ( 0 ) （ T${\displaystyle }$） 2$$） l l l l l l l l l l l l l l l l l l l l l l l l 。위에서부터${\displaystyle \mathrm{프로치}}$- 2.5$디스플레이 스타일$- 2.5$)$의 손실은 0에 가깝지만 b$(디스플레이$ 스타일$$b${\displaystyle \mathrm{)}}$가 2.5($디스플레이 스타일$- 2.5$)$의 교차와 $동시$에 유인기 세면대가 바뀌고 손실은 0.50으로 ^{[note 4]}뛰어오릅니다.

따라서 경사 하강으로$B를$시키려 하면 "손실 경관의 벽에 부딪혀" 폭발적으로 경사도가 높아집니다.조금 더 복잡한 상황은 그림 6에 ^[5]나타나 있습니다.

솔루션

이 섹션에는 여러 가지 문제가 있습니다.개선을 돕거나 토크 페이지에서 이러한 문제에 대해 논의해 주십시오.(이러한 템플릿메시지를 삭제하는 방법과 타이밍에 대해 설명합니다) 이 섹션은 리뷰 기사, 논문, 교과서 등 2차 또는 3차 출처에 대한 추가 인용문이 필요합니다. 이러한 참고 자료를 추가하여 컨텍스트를 제공하고 인용된 주요 연구 기사의 관련성을 확립하십시오. 조달되지 않았거나 조달이 불충분한 자재는 이의를 제기하여 제거할 수 있습니다.(2017년 12월) (이 템플릿메시지 삭제 방법 및 삭제 시기 확인) 이 섹션에 기재되어 있는 소스 중 일부는 신뢰할 수 없는 경우가 있습니다. 더 나은, 더 신뢰할 수 있는 출처를 찾아서 이 기사를 도와주세요. 신뢰할 수 없는 인용은 이의를 제기하거나 삭제할 수 있습니다.(2017년 12월) (이 템플릿메시지 삭제 방법 및 삭제 시기 확인) (이 템플릿메시지를 삭제하는 방법과 타이밍을 확인합니다)

이 문제를 극복하기 위해 몇 가지 방법이 제안되었다.

배치 정규화

배치 정규화는 폭발 및 소실 구배 ^[8][9]문제를 해결하기 위한 표준 방법입니다.

그라데이션 클리핑

^[5] ${\displaystyle {}_{}}{\displaystyle {\mathrm{}}_{}}$、 $L{\displaystyle }$$$\ $displaystyle$\$nabla$ _ { \ $theta } L$의 규격을$$\ $displaystyle$\$epsilon$ 으로$$클리핑할 것을 권장합니다.

$여기$서 ${\$ { $displaystyle$ \ $explilon }$은 "displaystyle" 하이퍼 파라미터로, 그라데이션이 도달할 수 있는 최대 기준입니다.$\nabla {\displaystyle {\mathrm{}}_{}}$ $L{\displaystyle }$$$\ $display$ style \ $nabla$ _ { \ $theta } L$의 각 엔트리를 ${\$ \ $display$style \ $epsilon }$으로 클리핑하는 것만으로 실제로도 기능합니다.

이 방법으로는 소실 구배 문제가 해결되지 않습니다.

멀티레벨 계층

하나는 위르겐 슈미트후버의 다단계 네트워크 계층(1992)으로, 감독되지 않은 학습을 통해 한 번에 한 단계씩 사전 교육되고 역확산을 ^[10]통해 미세 조정된다.여기서 각 수준은 다음 수준으로 공급되는 관측치의 압축 표현을 학습합니다.

관련 어프로치

유사한 아이디어가 신경망을 구성하기 위해 감독되지 않은 사전 훈련을 위해 피드포워드 신경망에 사용되어 일반적으로 유용한 특징 검출기를 먼저 학습하게 되었다.그런 다음 네트워크는 라벨이 부착된 데이터를 분류하기 위해 감독된 역전파에 의해 더욱 훈련됩니다.힌튼 등의 깊은 믿음의 네트워크 모델.(2006)은 이진수 또는 실제 값의 잠재 변수의 연속 레이어를 사용하여 높은 수준의 표현 분포를 학습하는 것을 포함한다.제한된 Boltzmann 기계를 사용하여 보다 높은 수준의 기능을 가진 새로운 레이어를 모델링합니다.각 새로운 레이어는 데이터의 로그 우도 하한을 증가시켜 적절히 교육된 경우 모델을 개선합니다.충분히 많은 레이어를 학습한 후, 딥 아키텍처는 ^[11]최상위 기능 활성화에서 모델을 샘플링할 때 데이터를 재생함으로써 생성 모델로 사용할 수 있습니다.Hinton은 그의 모델이 고차원적이고 구조화된 ^[12]데이터에 대한 효과적인 특징 추출기라고 보고했습니다.

장기 단기 기억력

특히 반복신경망에 사용되는 또 다른 기술은 Hochreiter & Schmidhuber가 ^[13]1997년에 개발한 롱 단기 메모리(LSTM) 네트워크입니다.2009년 심층 다차원 LSTM 네트워크는 ^[14][15]3개의 다른 언어에 대한 사전 지식 없이 연결된 필기 인식에서 3개의 ICDAR 2009 대회에서 우승함으로써 많은 비선형 계층에서 딥 러닝의 힘을 입증했습니다.

고속 하드웨어

하드웨어의 진보는 1991년부터 2015년까지 컴퓨터 성능(특히 GPU에 의해 제공됨)이 약 100만 배 증가했다는 것을 의미하며, 이는 사라져가는 구배 문제가 인식되었을 때보다 몇 층 더 깊은 네트워크에 표준 역전파를 가능하게 했다.Schmidhuber는 "현재 많은 이미지 인식 경쟁에서 기본적으로 승리하고 있는 것"이라고 지적하고 있지만, 힌튼등의 소멸하는 구배 문제에 대처하는 원래의 모델은 GPU가 ^[11]아닌 Xeon 프로세서로 트레이닝을 받고 있기 때문에, 「근본적인 방법으로 ^[16]문제를 해결할 수 없다」고 말하고 있습니다.

잔존 네트워크

소실되는 구배 문제를 해결하는 가장 새롭고 효과적인 방법 중 하나는 잔류 신경 네트워크 ^[17]또는 ResNets(반복 신경 네트워크와 혼동하지 말 것)입니다.ResNets는 스킵 접속 또는 잔여 접속이 네트워크 아키텍처의 일부인 뉴럴네트워크를 말합니다.이러한 스킵 접속에 의해, 정보의 「하이웨이」를 작성해, 그라데이션 정보를 레이어를 통과할 수 있습니다.이러한 레이어/액티베이션의 출력은, 보다 깊은 레이어의 출력에 추가됩니다.이것에 의해, 네트워크의 초기 부분으로부터의 정보를 네트워크의 보다 깊은 부분에 전달할 수 있기 때문에, 보다 깊은 네트워크에서도 신호의 전파를 유지할 수 있습니다.스킵 접속은 더 깊은 신경망의 성공적인 훈련을 가능하게 하는 중요한 구성요소입니다.

ResNets는 단순히 사라져가는 ^[17]데이터를 보상하기 위해 네트워크의 얕은 층에서 출력을 재도입함으로써 얕은 층에 비해 낮은 훈련 오류(및 테스트 오류)를 산출했습니다.ResNets는 비교적 얕은 망의 집합체이기 때문에 네트워크의 전체 깊이에 걸쳐 구배 흐름을 유지하는 것으로 소멸되는 구배 문제를 해결할 수 없습니다.단, 다수의 짧은 네트워크의 앙상블을 함께 구축하는 것만으로 문제를 회피할 수 있습니다.(건설에^[18] 의한 앙상블).

기타 활성화 기능

ReLU 등의 정류기는 한쪽 ^[20]방향으로만 포화되기 때문에 소실 구배 문제에 덜 시달립니다.비단조, 비포화 및 진동 활성화 기능을 통해 소실 경사 문제를 완화하고 훈련 ^[21][19]시간을 단축할 수 있습니다.경사 흐름을 개선하고 훈련 속도를 높이는 발진 활성화 기능의 예가 아래 그림에 나와 있습니다.

무게 초기화

가중치 초기화는 딥 네트워크에서 사라지는 구배 문제를 줄이기 위해 제안된 또 다른 접근법입니다.

Kumar는 초기 체중의 분포는 사용된 활성화 함수에 따라 달라져야 한다고 제안했고, 평균이 0이고 표준 편차가 0인 가우스 분포를 사용하여 로지스틱 활성화 함수와 함께 네트워크에서 체중을 초기화하기 위해 제안했다.3.6/sqrt(N),어디에N한 ^[22]층에 있는 뉴런의 수입니다.

최근, Yilmaz와^[23] Poli는 로지스틱 활성화 함수를 사용하여 심층 신경망의 초기 가중치 평균에 의해 구배가 어떻게 영향을 받는지에 대한 이론적 분석을 수행했고, 초기 가중치의 평균이 공식에 따라 설정될 경우 구배가 사라지지 않는다는 것을 발견했다.max(−1,-8/N)이 간단한 전략에서는 10층 또는 15층의 숨겨진 레이어를 가진 네트워크를 표준 백프로파게이션을 사용하여 매우 효율적이고 효과적으로 훈련할 수 있습니다.

다른.

베른케는 이미지 재구성과 얼굴 위치 ^{[citation needed]}파악과 같은 문제를 해결하기 위해 신경 추상화^[24] 피라미드를 훈련할 때 구배 부호(Rprop)에만 의존했습니다.

신경망은 또한 무작위 추측 또는 보다 체계적으로 유전 알고리즘과 같은 신경망의 가중치 공간에 대한 범용 검색 알고리즘을 사용하여 최적화될 수 있다.이 접근방식은 구배를 기반으로 하지 않으며 구배 소실 ^[25]문제를 회피한다.

「 」를 참조해 주세요.

• 스펙트럼 반지름

메모들

레퍼런스