자동 인코더

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

자동 인코더는 라벨이 부착되지 않은 데이터의 효율적인 부호화(비감독 ^[1]학습)를 학습하는 데 사용되는 인공 신경망의 일종이다.부호화로부터의 입력을 재생성하는 것에 의해서, 부호화의 검증과 조정이 이루어집니다.자동 인코더는 중요한 데이터("노이즈")를 무시하도록 네트워크를 훈련시킴으로써 일반적으로 치수 감소를 위해 데이터 세트의 표현(인코딩)을 학습합니다.

학습된 표현이 유용한 속성을 ^[2]가정하도록 강제하는 것을 목표로 하는 변종이 존재합니다.예를 들어, 정규화된 자동 인코더(스페스, 노이즈 제거 및 수축형)는 후속 분류 ^[3]작업에 대한 표현 학습에 효과적이며, 애플리케이션을 ^[4]생성 모델로 사용하는 변형 자동 인코더 등이 있습니다.자동 인코더는 얼굴 인식,^[5] 특징 감지,^[6] 이상 감지, ^[7][8]단어의 의미 획득 등 많은 문제에 적용된다.또한 자동 인코더는 입력 데이터(훈련 데이터)^[6]와 유사한 새 데이터를 무작위로 생성할 수 있는 생성 모델입니다.

수학적 원리

정의.

자동 인코더는 다음 구성 요소로 정의됩니다.

디코딩된 $메시지{\displaystyle \mathcal{}}$ 공간$$X(\$displaystyle {X$와 인코딩된 $메시지{\displaystyle \mathcal{}}$ 공간$$Z(\$displaystyle${\$mathcal {Z$의 두 집합. X$(\displaystyle$ {$X})$와$$Z(\$displaystyle {Z})$는 모두 유클리드 공간, $즉{\displaystyle \mathcal{}}$ X ${\displaystyle ={}^{}{\mathbb{}}^{}}$, ${\displaystyle {}^{}}$, R.$$${\displaystyle \{\backslash }displaystyle{\displaystyle }$${X}=\mathbb {R} ^{m},{\mathcal$ {Z}}=\$mathbb${R}$^{n$}}($일부$ m, n, n, n$,$ n, n, n)의 경우).

파라미터화된 2개의 함수 패밀리: 인코더 $패밀리{\displaystyle {}_{}}$ E ${\displaystyle {}_{}}$ : ${\displaystyle X\mathcal{}}$ ${\displaystyle \to }$ {\$displaystyle E_{\$$phi$$$}:{\$mathcal {X}}\rightarrow${\$mathcal$$$${$$Z$$$디코더 $패밀리{\displaystyle {}_{}}$ D${\displaystyle {}_{}\theta \mathcal{}}$ : Z ${\displaystyle \to }$X {\$displaystyle$ {Z$}:$ {\ta$}:$ {\$the$}: {\ta}: {\$the$}:\the}:\the}:\theryle}에 의해 파라미터화된 인코더 패밀리.$(\displaystyle\theta$$）$。

$x{\displaystyle x\mathcal{}}$X {\$style$ x$\in${X$\}\}$에 대해서는 보통 z ${\displaystyle =}$ ${\displaystyle {}_{}{\varphi }_{}}$ (${\displaystyle x}$) { $displaystyle$ z$=E_{\phi$}($x$로 $표기$하며 코드, 잠복 변수, 잠재 표현, 잠재 벡터 등으로 표기합니다.반대로 $z{\displaystyle }$ ${\displaystyle \in }$ ${\displaystyle Z\mathcal{}}$\ $displaystyle$z \ $in$\ $mathcal${ Z$}$ 、 x ${\displaystyle =}$ ${\displaystyle D_{}}$( (${\displaystyle z}$) { $display$ x' =$D_{\theta$} ($z)$} 라고 $쓰고{\displaystyle {}^{}}$ (디코딩된) 메시지라고 합니다.

보통 인코더와 디코더는 모두 다층 퍼셉트론으로 정의됩니다.예를 들어, 1층 MLP $인코더E{\displaystyle {}_{}}$ "$$" { $displaystyle$E _ { \ $phi }$ ${\displaystyle {is}_{}}$ 。

$\displaystyle E_{\phi }(\mathbf {x})=\display(Wx+b)}$

여기서$\delta {\displaystyle }$ {$displaystyle \sigma}$는 Sigmoid 함수 또는 정류 선형 단위와 같은 요소별 활성화 함수이고, $(\displaystyle$ W$)$는 "무게"라고 하는 행렬, $(\displaystyle$ b$)$는 "bias"라고 하는 벡터입니다.

자동 인코더 트레이닝

자동 인코더는 그 자체로 두 가지 기능의 튜플입니다.품질을 판단하기 위해서는 과제가 필요합니다.태스크는$X$에 $대한{\displaystyle \mathcal{}}$ 기준 확률 $분포{\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$ r ${\displaystyle e_{}}$ f$$\ $displaystyle$ \$mu$$$_ { $ref$$\}$ 및$$ "$구조품질{\displaystyle }$" $함수{\displaystyle }$d: ${\displaystyle \mathrm{X}}$ × X${\displaystyle \to }$ [${\displaystyle }$0 ,${\displaystyle \mathrm{}]}$ $]$ { $displaystyle$ d: { \ $mathcal${ X } $}$ $\ times$ { \ $mathcal${ X } \ to $d$${\displaystyle }$. 0 . infty$\}$에 의해 정의됩니다.$e$ d$(x,x')$는 x$({$$displaystyle$ x$')$와 x({$displaystyle$x$\})$의 $차이$를 측정합니다.

이러한 기능을 사용하면 자동 인코더의 손실 함수를 다음과 같이 정의할 수 있습니다.

${\displaystyle \mathrm{소정}}$의 태스크$({\displaystyle {\mu }_{}}$ ${\displaystyle r_{}}$ ${\displaystyle e_{}}$f ,${\displaystyle d}$) { $displaystyle$( \ $mu$_ {$ref$ , $d$)$$} }$$arg \ $min$ {${\displaystyle \underset{}{}}$\${\displaystyle \mathrm{theta}}$, \ $phi$ $L$ (${\displaystyle }$\ $theta$, \ $phi$ )$$。최적의 자동 인코더의 검색은 수학적 최적화 기법에 의해 수행될 수 있지만, 일반적으로 구배 강하법에 의해 수행된다.이 검색 프로세스를 "자동 인코더 교육"이라고 합니다.

대부분의 경우 기준분포는 ${\displaystyle {}_{}}$ 세트${\displaystyle }${ ${\displaystyle {x\mathrm{}}_{}}$1${\displaystyle }$, . , ${\displaystyle x_{}}$ N${\displaystyle {}_{}}$}${\displaystyle x\mathcal{}}$X { $displaystyle$\ {$x _$ {1} ,$$x$_${ N } \ $subset${ $mathcal${$$X$}$x by by by by by by by by by by by by by by by by by by by by by by by { { { { { { { { { { x 1 . 1 . x 1 . { x 1 . { x 1 } } 1x\}} x a x by by by by by by by by by by

품질 함수는 L2 손실뿐입니다${\displaystyle .}d{\displaystyle }$ (${\displaystyle x}$ , ${\displaystyle {}^{}}$ ${\displaystyle )}$ ) ${\displaystyle =x}$ ${\displaystyle {}^{}}$ - x ${\displaystyle \prime {}_{}^{}}$ ${\displaystyle {\mathrm{}}_{}^{}}$2 { { $displaystyle d$( x , x ) = \ x -$x$ ' \ { $2 }$ $。$최적의 자동 인코더를 검색하는 문제는 최소한의 최적화입니다.

해석

자동 인코더는 메시지를 코드에 매핑하는 인코더와 메시지를 코드에서 재구성하는 디코더의 두 가지 주요 부분으로 구성됩니다.최적의 자동 인코더는 재구성 품질 $함수{\displaystyle }$ d$\displaystyle$d에 의해 정의된 "완벽에 가깝다"를 사용하여 가능한 한 완벽한 재구성을 수행합니다.

복사 작업을 완벽하게 수행하는 가장 간단한 방법은 신호를 복제하는 것입니다.이 동작을 억제하기 위해 코드 $공간{\displaystyle \mathcal{}}$Z(\$displaystyle\mathcal {Z})$는 보통 메시지 $공간{\displaystyle \mathcal{}}$X(\$displaystyle\mathcal {X$보다 차원이 작습니다.

이러한 자동 인코더는 언더 컴플리트라고 불립니다.이는 메시지를 압축하거나 ^[9]차원을 축소하는 것으로 해석할 수 있습니다.

이상적인 자동 인코더의 한계에서는 코드 공간에서 가능한 모든 코드$z{\displaystyle }$(\$displaystyle$$$z$)$를 사용하여 ${\displaystyle {배포}_{}}$ ${\displaystyle {\mathrm{\mu r}}_{}}$ f {\$displaystyle$ \$mu _{$ref$\}\}$에 실제로 표시되는 $메시지x{\displaystyle }$(\$displaystyle$ x$)$를 부호화합니다.디코더도 완벽합니다.${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle E}$ ${\displaystyle {}_{}=}$ ${\displaystyle x}$（ $displaystyle$ D _ {$$） 。$theta }(E_{\phi$}($x)=x$ 이 이상적인 자동 인코더는 디코더에 임의의 $코드{\displaystyle }$z(\$displaystyle$z)를$$ 공급하고 D${\displaystyle {}_{}}$${\displaystyle {\theta }_{}}$ (${\displaystyle z}$)(\${\displaystyle {\mathrm{displaystyle}}_{}}$ $D_{\theta$}($z$$)$를 $얻음$으로써 실제 ${\displaystyle {\mathrm{메시지}}_{}}$와 구별할 수 없는 메시지를 생성하는데 사용할 수 있습니다$.$$le \mu$ _${ref$ :

코드 $공간{\displaystyle \mathcal{}}$Z({$displaystyle {Z})$의 치수가 메시지 $공간{\displaystyle \mathcal{}}$X({$displaystyle {X$보다 크거나 같은 경우 또는 숨겨진 유닛에 충분한 용량이 부여되어 있으면 자동 인코더가 식별 기능을 학습하여 사용할 수 없게 됩니다.그러나 실험 결과에 따르면 자동 인코더가 지나치게 완전하면 여전히 유용한 ^[10]기능을 학습할 수 있습니다.

이상적인 설정에서는 코드 치수와 모델 용량을 모델화하는 데이터 분포의 복잡성에 근거해 설정할 수 있다.표준적인 방법은 기본 자동 인코더에 변경을 추가하는 것입니다.^[2]자세한 내용은 다음과 같습니다.

역사

자동 인코더는 자동 어소시에이터 ^[11]또는 Diabolo^{[12] [10]}네트워크라고도 불립니다.그것의 첫 번째 ^[2][13][14]적용은 1980년대까지 거슬러 올라간다.가장 전통적인 애플리케이션은 차원 축소 또는 기능 학습이었지만,^[15][16] 이 개념은 데이터의 생성 모델을 학습하는 데 널리 사용되었습니다.2010년대 가장 강력한 AI 중 일부는 깊은 신경 네트워크 ^[17]안에 쌓인 자동 인코더를 포함했다.

바리에이션

정규화된 자동 인코더

자동 인코더가 식별 기능을 학습하는 것을 방지하고 중요한 정보를 캡처하여 보다 풍부한 표현을 학습하는 능력을 향상시키기 위해 다양한 기술이 존재합니다.

스파스 자동 인코더(SAE)

신경과학의 희박한 코딩 가설에서 영감을 얻어 스파스 자동 인코더는 자동 인코더의 변형으로, 메시지의 $코드{\displaystyle {}_{}}$ ${\displaystyle D_{}}$( (${\displaystyle x}$) \ $displaystyle D_{\phi$}($x)$는 스파스한 코드인 경향이 있다. 즉, ${\displaystyle D_{}}$ ${\displaystyle {}_{}}$ (${\displaystyle }$x$$) \ $displaystyle D_{\phi$}($x)$는 대부분의 엔트리에 가깝다.스파스 자동 인코더에는 입력보다 많은 수의 숨겨진 장치가 포함될 수 있지만 동시에 ^[17]활성화할 수 있는 숨겨진 장치의 수는 극소수에 불과합니다.희소성을 장려하면 분류 ^[18]작업의 성능이 향상됩니다.

희소성을 강제하는 두 가지 주요한 방법이 있다.한 가지 방법은 잠복 코드의 최상위 k개의 액티베이션 이외의 모든 액티베이션에 대해 0으로 클램프하는 것입니다.이것은 k-sparse 자동 인코더입니다.^[19]

k-sparse 자동 인코더는 표준 자동 인코더의 잠재 레이어에 다음 "k-sparse 함수"를 삽입합니다.

$여기$서 b ${\displaystyle i_{}}$ $=$ ${\displaystyle 1}$${\displaystyle ({}_{}}{\displaystyle {xi}_{}}$ {$displaystyle b_$${i$$} }$이(가) 상위 k에 있으면 1$({displaystyle b_$${i$}=1)이고$$, 그렇지 않으면 0)입니다.

${\displaystyle f_{}}$ k$(\$를 $통한{\displaystyle {}_{}}$ 역전파는 간단합니다.${\displaystyle b_{}}$ i ${\displaystyle {}_{}}$ { $displaystyle b_{i$} =$0$$$$}$ 엔트리에 $대해서$는 그라데이션 0으로 설정하고 b ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ $1(\displaystyle b_{i$} =1$$} 엔트리에 $대해서$는 그라데이션으로 유지합니다.이는 기본적으로 일반화된 ReLU ^[19]함수입니다.

다른 하나는 k-sparse 자동 인코더의 완화된 버전입니다.희소성을 강제하는 대신 희소성 정규화 손실을 추가하여 최적화합니다.

서 "$>$ 0 \ $displaystyle$\ $sparsda$> $0$} ^[20]에서는 적용하는 희소성의 양을 측정합니다.

자동 인코더 아키텍처에 $(\displaystyle$ K$)$ 레이어를$$ 설정합니다.희소성 정규화 손실을 정의하려면 각 레이어에 대해 "확장" $희소성{\displaystyle {\stackrel{}{}}_{}}$ ${\displaystyle {\stackrel{}{^}}_{}}$ ^$$ { $displaystyle$ {$hat { rho$$}$ _$$$$$$${$ k } , 각 희소성을 적용하는 ${\displaystyle {무게}_{}}$ 및 함수${\displaystyle }s{\displaystyle }$: [${\displaystyle 0}$ , ${\displaystyle 1]}$×${\displaystyle }$[ ${\displaystyle 0}$ , 1 $→$ [ 0 , 1${\displaystyle \mathrm{]}}$ \ times $][$ 0 , \ times ]가 필요합니다$.$두 가지 희소가 크게 다르다.

각 $입력{\displaystyle }$ x$(\displaystyle$ x$)$에 대해 각 $레이어{\displaystyle }$k(\$displaystyle$ k$)$의 활성화의 실제 극소수를 설정합니다.

${\displaystyle {여기}_{}}$서 k${\displaystyle {,}_{}{i}_{}}$ (${\displaystyle x}$ )$${$display$ $style$ $a_{k,i$$}($$x)$는 x$${$displaystyle$$$x$\}$ $입력$ 시$$k 층의$$i번째$$ $뉴런$에서 $활성화$됩니다.

1개의 레이어의 $입력{\displaystyle }$ x$${\$display$ x$}$에 대한 희소성 $손실$은 ${\displaystyle {\stackrel{}{}}_{}({\stackrel{}{}}_{}}$ ${\displaystyle k_{}}$ , ${\displaystyle k_{}}$(${\displaystyle x}$) {$displaystyle$ s ( { \ $hat$ {$rho }} _${ $k$} )$。$$자동$ 인코더 전체의 $희소성$ 정규화 손실은 희소성 손실의 가중치 합입니다.

$일반적$으로^{[18][20][21][22]} 함수$$s\$displaystyle$s는$$ 다음과 같이 Kullback-Leibler(KL) 발산입니다.

${\displaystyle s(\rho, {\hat {rho}}=\rho \log {rho}}+(1-\rho)\log {\frac {1-\rho}{1-{\hat }}}$

또는 L1 손실(${\displaystyle s,}$ ${\displaystyle ^)}$ ${\displaystyle =r\stackrel{}{}}$ -$$^ ${\displaystyle （}$ \ $displaystyle$ s （ \ $rho$, { \ hat$}$） ${\displaystyle =}$ ${\displaystyle L2}$ 손실(${\displaystyle s\stackrel{}{},\stackrel{}{}}$^ ${\displaystyle ）}$ $、$ 、 、 、 、${\displaystyle \stackrel{}{}}$^ （ \ $displaystyle s ）$ 、

또는 희소성 정규화 손실은 "희망 희소성"을 고려하지 않고 정의할 수 있지만, 단순히 가능한 한 많은 희소성을 강제할 수 있다.이 경우 정규화 손실은 다음과 같이 희박해질 수 있습니다.

${\displaystyle {여기}_{}}$서 h ${\$$displaystyle$ $h_{k$$}}$는 자동 인코더의$k번째$ 층에 있는 활성화 벡터입니다.노름 "$$" " $style \ cdot$ \$)$는 보통 L1 노름(L1 sparse autoencoder 제공) 또는 L2 노름(L2 sparse autoencoder 제공)입니다.

노이즈 제거 자동 인코더(DAE)

노이즈 제거 자동 인코더(DAE)는 재구성 ^[2][3]기준을 변경하여 적절한 표현을 시도합니다.

DAE는 표준 자동 인코더에 노이즈 프로세스를 추가하여 정의합니다.잡음 프로세스는 $함수{\displaystyle }$ T${\displaystyle :}$ ${\displaystyle X\mathcal{}}$ ${\mathcal {X}$에 대한 확률 $분포{\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$T {\$displaystyle \mu$ _${T}}$에 의해 정의됩니다. 즉, $함수{\displaystyle }$T {\$displaystyle$ T$}$는 X$${\$displaystyle$ x$\in$ 및 {\$mathcal}$의 $파손$된 메시지를 받습니다.${\displaystyle T}$ ${\displaystyle (x}$) { $displaystyle$T ($x$ )$$}$함수{\displaystyle }$T {\$displaystyle$ T$}$는 $확률분포{\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$T {\$displaystyle \mu$ _${T$에서 랜덤으로 선택됩니다.

태스크$({\displaystyle {\mu }_{}}$ ${\displaystyle r_{}}$ ${\displaystyle e_{}}$f ,${\displaystyle d}$ )$${ $displaystyle$( \ $mu$_ {$ref$ , $d$)$$}의 경우 DAE 트레이닝의 문제는 최적화 문제입니다.

즉, 최적의 DAE는 노이즈가 많은 메시지를 수신하여 노이즈 없이 원래 메시지를 회복하려고 시도해야 합니다.따라서 "denoising"이라는 이름이 붙습니다.

일반적으로 노이즈 $프로세스{\displaystyle }$T(\$displaystyle$ T$)$는 훈련 및 테스트 시에만 적용되며 다운스트림 사용 시에는 적용되지 않습니다.

DAE의 사용은 다음 두 가지 전제조건에 따라 달라집니다.

• 메시지에는 발생할 가능성이 높은 소음 유형에 대해 비교적 안정적이고 견고한 표현이 존재한다.
• 상기 표현은 우리의 ^[3]목적에 유용한 투입분포의 구조를 포착한다.

소음 프로세스의 예는 다음과 같습니다.

• 가등방성 가우스 노이즈,
• 마스킹 노이즈(입력 중 일부를 랜덤으로 선택하여 0으로 설정)
• 염분 및 염분 노이즈(입력 중 일부가 랜덤으로 선택되고 임의로 최소값 ^[3]또는 최대값으로 설정됨).

계약형 자동 인코더(CAE)

수축형 자동 인코더는 수축형 정규화 손실을 표준 자동 인코더 손실에 추가합니다.

서 $(\displaystyle\displayda$> $0)$은 어느 정도의 수축성을 적용하는지를 측정합니다.수축적 정규화 손실 자체는 입력에 관한 인코더 활성화의 야코비안 매트릭스의 예상 프로베니우스 노름으로 정의됩니다.${\displaystyle L_{}}$ ${\displaystyle c_{}}$ ${\displaystyle o_{}}$ ${\displaystyle n_{}}$ r ${\displaystyle a_{}}$ ${\displaystyle c_{}}$ ${\displaystyle t_{}}$ ${\displaystyle i_{}}$ ${\displaystyle v_{}}$e { $displaystyle L$$$_ { $contractive$} , ,,,,,,,,, 。$(\$ x$\in\mathcal {X$ 및 작은 ${\displaystyle \mathrm{변형}}$ x$(\displaystyle \delta$x)에 대해 지정합니다.${\displaystyle {따라서}_{}}$ "${\displaystyle {\mathrm{}}_{}}$" ${\displaystyle {}_{}{}_{}{E}_{}}$ "${\displaystyle }$( x )${\displaystyle {}_f^{}}$ 2 \ $displaystyle$\ \ $nabla _${ x } E _ { \ $phi }$ ( x ) \ { F$}^2$} $small$ small small small small small small thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thus thushood thus {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ thus {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\ {\2 \ displaystystystystyle \ nabla _ \ nabla _ { \이는 메시지의 작은 변화가 코드의 작은 변화(예: 두 그림이 완전히 동일하지 않더라도 어떻게 보이는지)를 초래한다는 것을 의미하기 때문에 바람직한 속성입니다.

DAE는 CAE의 최소 한계로 이해할 수 있다. 작은 가우스 입력 노이즈의 한계에서 DAE는 재구성 함수를 작지만 유한한 크기의 입력 섭동에 저항하게 하고, CAE는 추출된 피쳐를 무한 입력 섭동에 저항하게 한다.

최소 설명 길이 자동 인코더

^[23]

콘크리트 자동 인코더

콘크리트 자동 인코더는 개별 피쳐 ^[24]선택을 위해 설계되었습니다.콘크리트 자동 인코더는 잠복 공간을 사용자가 지정한 수의 피쳐로만 구성하도록 강제합니다.콘크리트 자동 인코더는 범주 분포의 연속적인 완화를 사용하여 구배가 피쳐 셀렉터 레이어를 통과할 수 있도록 합니다.그러면 표준 역전파를 사용하여 재구성 손실을 최소화하는 입력 피쳐의 최적 서브셋을 학습할 수 있습니다.

가변 자동 인코더(VAE)

VAE(Variational Auto Encoder)는 베이지안 방식의 패밀리에 속합니다.기본 자동 인코더와 아키텍처가 유사하지만 VAE는 다른 목표와 완전히 다른 수학 공식의 아키텍처입니다.이 경우 잠복 공간은 고정 벡터 대신 분포의 혼합으로 구성됩니다.

미지의 $x)$ {$displaystyle$ P$(x)}$ 및$$ 다변량 잠재 부호화 $벡터{\displaystyle }$z {$displaystyle$ z$\}$로 특징지어지는$$ 입력 $데이터{\displaystyle }$ 세트$$x {$displaystyle$$$x$}$가 주어진 경우, $그{\displaystyle }$ 목적은 데이터를 $분포{\displaystyle {}_{}}$ p$θ$로서 모델링하는 것이다$.$}은$$ 네트워크 파라미터의 세트로 정의되어 있습니다.$이것$에 ${\displaystyle {의해}_{}}$, p${\displaystyle {}_{}\theta }$ ( x )$= z$ p${\displaystyle {}_{}\theta }$ (${\displaystyle x}$, ${\displaystyle z}$ )$d$z { $displaystyle$p_{\$theta$}(x )=\$int _{z$}p_${\$theta$}(x,z$)dz$\}$dz}가 됩니다$.$

깊이의 장점

자동 인코더는 많은 경우 단일 레이어 인코더와 단일 레이어 디코더를 사용하여 훈련되지만 다층(심층) 인코더와 디코더를 사용하면 ^[2]많은 이점이 있습니다.

• 깊이는 일부 ^[2]함수를 나타내는 계산 비용을 기하급수적으로 줄일 수 있습니다.
• 깊이는 일부 ^[2]기능을 학습하는 데 필요한 교육 데이터의 양을 기하급수적으로 줄일 수 있습니다.
• 실험적으로 딥 자동 인코더는 얕은 자동 인코더 ^[9]또는 선형 자동 인코더에 비해 더 나은 압축을 제공합니다.

트레이닝

Geoffrey Hinton은 여러 층의 딥 오토 인코더를 훈련시키기 위한 딥 페이스 네트워크 기술을 개발했습니다.그의 방법은 두 층의 인접한 각 세트를 제한된 볼츠만 기계로 취급하여 사전 훈련이 좋은 솔루션에 근접하도록 한 다음 역전파를 사용하여 ^[9]결과를 미세 조정하는 것이다.

연구자들은 공동 훈련(즉, 전체 아키텍처를 최적화하는 단일 글로벌 재구성 목표와 함께 훈련)이 심층 자동 인코더에 ^[25]더 나은지 여부를 논의해 왔습니다.2015년 연구에 따르면 공동 훈련은 계층적 ^[25]방법에 비해 분류를 위한 보다 대표적인 특징과 함께 더 나은 데이터 모델을 학습한다.하지만, 그들의 실험은 합동 훈련의 성공이 ^[25][26]채택된 정규화 전략에 크게 좌우된다는 것을 보여주었다.

적용들

자동 인코더의 두 가지 주요 적용 분야는 치수 감소와 정보 ^[2]검색이지만, 현대의 변형은 다른 작업에 적용되어 왔다.

치수 축소

차원 축소는 최초의 딥 러닝 애플리케이션 ^[2]중 하나였습니다.

힌튼의 2006년 ^[9]연구를 위해 그는 RBM 더미가 있는 다층 자동 인코더를 미리 시험한 후, 30개의 뉴런의 병목점에 도달할 때까지 그 무게를 사용하여 점차 더 작은 숨겨진 층을 가진 심층 자동 인코더를 초기화했다.결과 30개의 코드 치수는 주성분 분석(PCA)의 처음 30개 구성요소에 비해 더 작은 재구성 오류를 산출했으며, 데이터 ^[2][9]클러스터를 명확하게 분리하여 질적으로 해석하기 쉬운 표현을 학습했다.

치수를 표시하면 ^[2]분류와 같은 작업의 성능을 향상시킬 수 있습니다.실제로 차원성 감소의 특징은 의미론적으로 관련된 예를 ^[28]서로 가까이 배치하는 것이다.

주성분 분석

선형 활성화가 사용되거나 단일 Sigmoid 은색층만 사용되는 경우 자동 인코더의 최적 솔루션은 주성분 분석(PCA)^[29][30]과 강하게 관련됩니다.$크기{\displaystyle }$ p$($$여기$서 p$\displaystyle$ p$\$displaystyle p}$$는$$ 입력 크기보다 작음)의 단일 숨겨진 레이어를 가진 자동 인코더의 무게는 첫 $번째{\displaystyle }$ p$\displaystyle$ p$}$ 주요$$ 컴포넌트에 의해 스판되는 벡터 서브스페이스와 동일한 벡터 서브스페이스에 걸쳐 있으며 자동 인코더의 출력은 이 에 대한 직교 투영됩니다.ubspace를 선택합니다.자동 인코더 가중치는 주성분과 동일하지 않고 일반적으로 직교하지 않지만 주성분은 특이값 ^[31]분해를 사용하여 주성분을 복구할 수 있습니다.

그러나 자동 인코더의 잠재력은 비선형성에 있기 때문에 모델은 PCA에 비해 더 강력한 일반화를 학습할 수 있으며 정보 ^[9]손실을 크게 줄여 입력을 재구성할 수 있습니다.

정보 검색

특히 그 검색의 차원 축소에 의한 정보 검색의 메리트는 특정 종류의 저차원 공간에서 더욱 효율화될 수 있습니다.Salakhutdinov와 Hinton이 ^[28]2007년에 제안한 의미 해시에 자동 인코더가 실제로 적용되었다.저차원 바이너리 코드를 생성하도록 알고리즘을 훈련시킴으로써 모든 데이터베이스 엔트리를 엔트리에 바이너리 코드 벡터를 매핑하는 해시 테이블에 저장할 수 있다.이 테이블은 쿼리와 동일한 바이너리코드를 가진 모든 엔트리를 반환함으로써 정보 취득을 지원하거나 쿼리 인코딩에서 일부 비트를 플립하여 약간 덜 유사한 엔트리를 반환합니다.

이상 검출

자동 인코더의 또 다른 응용 프로그램은 이상 ^[32]검출입니다.^{[33][34][35][36]} 앞에서 설명한 제약 조건 중 일부에서 훈련 데이터의 가장 두드러진 특징을 복제하는 방법을 학습함으로써 모델은 가장 자주 관찰되는 특성을 정확하게 재현하는 방법을 학습하도록 장려된다.이상 징후가 발생할 경우 모델은 재구성 성능을 악화시켜야 합니다.대부분의 경우 자동 인코더를 훈련하는 데 일반 인스턴스가 있는 데이터만 사용됩니다. 다른 경우에는 이상 빈도가 관찰 세트에 비해 작기 때문에 학습된 표현에 대한 기여가 무시될 수 있습니다.훈련 후 자동 인코더는 "정상" 데이터를 정확하게 재구성하지만 익숙하지 않은 비정상적인 ^[34]데이터에는 재구성하지 못합니다.재구성 오류(원래 데이터와 저차원 재구성 사이의 오류)는 ^[34]이상을 감지하기 위한 이상 점수로 사용됩니다.

그러나 최근 문헌에 따르면 특정 자동 부호화 모델은 직설적으로 비정상적인 예제를 재구성하는 데 매우 능숙할 수 있으며 결과적으로 이상 ^[37][38]검출을 안정적으로 수행할 수 없다.

이미지 처리

자동 인코더의 특성은 이미지 처리에 유용합니다.

손실 이미지 압축에서는 자동 인코더가 다른 접근방식을 능가하여 JPEG ^[39][40]2000에 대한 경쟁력을 입증한 예를 볼 수 있습니다.

영상 전처리에서 자동 인코더의 또 다른 유용한 적용은 영상 노이즈 ^[41][42][43]제거입니다.

자동 인코더는 의료용 이미징과 같은 보다 까다로운 환경에서 사용되었으며, 이미지^[44] 노이즈 제거 및 ^[45][46]초해상화에 사용되었습니다.이미지 지원 진단에서 실험은 유방암 검출과^[47] 알츠하이머병의 인지 저하와 ^[48]MRI로 훈련된 자동 인코더의 잠재적 특징 사이의 관계를 모델링하기 위해 자동 인코더를 적용했다.

약물 발견

2019년에 변이형 자동 인코더로 생성된 분자가 ^[49][50]마우스에서 실험적으로 검증되었다.

인기 예측

최근 쌓이는 자동 인코더 프레임워크는 소셜 미디어 ^[51]게시물의 인기를 예측하는데 유망한 결과를 낳았고, 이는 온라인 광고 전략에 도움이 된다.

기계 번역

자동 인코더는 기계 번역에 적용되어 있으며, 보통 NMT(^[52][53]Neural Machine Translation)라고 불립니다.기존 자동 인코더와 달리 출력이 입력과 일치하지 않습니다. 다른 언어로 되어 있습니다.NMT 에서는, 텍스트를 학습 순서에 부호화하는 시퀀스로서 취급해, 대상 언어의 디코더측 시퀀스를 생성한다.언어 고유의 자동 인코더는 중국어 분해 ^[54]기능과 같은 추가적인 언어 기능을 학습 절차에 통합합니다.기계 변환은 아직 자동 인코더를 사용하는 경우는 드물지만, 오히려 변압기 네트워크에서 이루어집니다.

「 」를 참조해 주세요.

• 표현 학습
• 희박한 사전 학습
• 딥 러닝

레퍼런스