게이트 반복 단위

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

게이트 반복 단위(GRU)는 경현 ^[1]조 등이 2014년에 도입한 순환 신경망의 게이트 메커니즘이다.GRU는 포겟게이트가 ^[2]있는 롱단기메모리(LSTM)와 비슷하지만 출력게이트가 ^[3]없기 때문에 LSTM보다 파라미터가 적습니다.폴리폰 음악 모델링, 음성 신호 모델링 및 자연 언어 처리와 같은 특정 작업에 대한 GRU의 성능은 ^[4][5]LSTM의 것과 유사한 것으로 밝혀졌다. GRU는 더 작고 덜 빈번한 특정 ^[6][7]데이터 세트에서 더 나은 성능을 보이는 것으로 나타났다.

아키텍처

완전 게이트 유닛에는 몇 가지 변형이 있으며, 게이트는 이전의 숨겨진 상태와 다양한 조합의 바이어스를 사용하여 수행되며, 최소 게이트 ^[8]유닛이라고 불리는 단순화된 형식을 사용합니다.

연산자 $⊙$ {\$displaystyle \odot}$은 다음에서 Hadamard 제품을 나타냅니다.

완전 게이트 장치

처음에 t ${\displaystyle =}$ {$displaystyle$ t$=0$의 경우 출력 벡터는 ${\displaystyle {h\mathrm{}}_{}}$ 0 $=$ {$displaystyle h_{0$}=$0$입니다.

${\displaystyle {t}z_{t}&=\display_{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z}\r_{t}&=\sigma_{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r}\{\hat {h}_{t}&=\phi _{h}(W_{h}x_{t}+U_{h}(r_{t}\odot h_{t-1}+b_{h})\\h_{t}&=z_{t}\odot {h}_{t}+(1-z_{t})\odot h_{t-1}\end {aligned}}$

변수

• ${\displaystyle x_{}}$t {\$displaystyle x_{t$ : 입력 벡터
• ${\displaystyle h_{}}$ t$$\ $displaystyle h_{t$ : 출력 벡터
• ${\displaystyle {\stackrel{}{h}}_{}}$^ ${\displaystyle t_{}}$\ $displaystyle$\ $hat${ $h} _${ $t$} : 후보 액티베이션벡터
• ${\displaystyle z_{}}$t \ $displaystyle z_{t$ : 게이트 벡터 업데이트
• ${\displaystyle r_{}}$ t$$\ $displaystyle r$_ { $t$} :게이트 벡터 리셋
• ${\displaystyle W}${\$displaystyle$ W$\}$ ,$U{\displaystyle }$ {\$displaystyle$ U$}$ 및$$$b{\displaystyle }$ {\$displaystyle$ b$\}$ : 파라미터 매트릭스 및 벡터

활성화 기능

• $§$ $g$ \$displaystyle$ \ $sigma _${ g$$} :원래는 Sigmoid ${\displaystyle {\mathrm{함수}}_{}}$입니다.
• $§$ $h$ \$displaystyle$ \$phi _${h$\}$ : 원문은 쌍곡선 접선입니다.

${\displaystyle g_{}}$(${\displaystyle x}$ )${\displaystyle }$[ [ ${\displaystyle 0}$, $]{$ $displaystyle \sigma$ _${g}(x)\in [ 0$ , $1$인 경우 대체 활성화 기능을 사용할 수 있습니다.

${\displaystyle z_{}}$t {$displaystyle z_{t}$ $및$ ${\displaystyle r_{}}$ t$${$displaystyle r_{t}$를 $변경$하여 대체 폼을 생성할 수 있습니다.

• 유형 1. 각 게이트는 이전의 숨겨진 상태와 치우침에만 의존합니다.

  ${\displaystyle {t}z_{t}&={g}(U_{z}h_{t-1}+b_{z})\\r_{t}&=sigma_{g}(U_{r}h_{t-1}+b_{r}\end {aligned}}}}$

• 유형 2. 각 게이트는 이전 숨겨진 상태에만 의존합니다.

  $({displaystyle {displaystyle {arg}z_{t}&= {g}(U_{z}h_{t-1})\\sigma _{g}(U_{r}h_{t-1})\\end{aligned}})$

• 유형 3, 각 게이트는 바이어스만 사용하여 계산됩니다.

  ${\displaystyle {displaystyle {aligned}z_{t}&=\r_{t}&=\displaystyle {g}(b_{r})\\end {aligned}}$

최소 게이트 유닛

최소 게이트 장치는 업데이트 및 재설정 게이트 벡터가 포겟 게이트에 병합된다는 점을 제외하고 완전 게이트 장치와 유사합니다.이는 출력 벡터의 방정식을 변경해야 ^[10]함을 의미합니다.

${\displaystyle {t}f_{t}&=\display_{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f}\{\hat {h}_{t}&=\phi _{h}(W_{h}x_{t}+U_{h}(f_{t}\odot h_{t-1}+b_{h})\\h_{t}&=(1-f_{t})\odot h_{t-1}+f_{t}\odot {hat}_{t}\end {aligned}}$

변수

• ${\displaystyle x_{}}$t {\$displaystyle x_{t$ : 입력 벡터
• ${\displaystyle h_{}}$ t$$\ $displaystyle h_{t$ : 출력 벡터
• ${\displaystyle {\stackrel{}{h}}_{}}$^ ${\displaystyle t_{}}$\ $displaystyle$\ $hat${ $h} _${ $t$} : 후보 액티베이션벡터
• ${\displaystyle f_{}}$ t$${ $display$ style $f$_ { $t$ :포기 벡터
• ${\displaystyle W}${\$displaystyle$ W$\}$ ,$U{\displaystyle }$ {\$displaystyle$ U$}$ 및$$$b{\displaystyle }$ {\$displaystyle$ b$\}$ : 파라미터 매트릭스 및 벡터

콘텐츠 적응형 반복 단위

CARU(Content Adaptive Recurrent Unit)는 2020년 Ka-Hou Chan 등에 의해 도입된 GRU의 변형입니다.^[11]CARU에는 GRU와 같이 업데이트 게이트가 포함되지만 리셋 게이트 대신 콘텐츠 적응형 게이트가 도입됩니다.CARU는 RNN 모델의 장기적인 의존성 문제를 완화하기 위해 설계되었습니다.이는 NLP 작업에서 약간의 성능 향상을 보였으며 GRU보다 ^[12]매개변수가 적은 것으로 밝혀졌다.

다음 방정식에서 소문자 변수는 벡터를 나타내고${\displaystyle }$[$](\displaystyle \left[W;B\$right])는$$ 가중치와 바이어스로 구성된 선형 레이어인 트레이닝 파라미터를 나타냅니다.$처음$에 t ${\displaystyle =}$ { $displaystyle$ t ${\displaystyle {}^{}}$ ${\displaystyle {}_{}}$$\}$ 、 CARU ${\displaystyle {\leftarrow }^{}}$ $W{\displaystyle {}^{}}$ ${\displaystyle {}_{}{}^{}}$v (${\displaystyle 0^{}}$) + ${\displaystyle B_{}}$ ${\displaystyle v_{}}$ n$${ $displaystyle$ h^ { (1$)$ } \ $gets$ W _ { $vn$} $v^$ { ( 0 ) } + B$_$ { $vn$}、 t> $0 0$ ${\displaystyle {\mathrm{ureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureureure}}^{}}$

${\displaystyle {begin { aligned}x^{(t)}&={B_{vn}}\n^{(t)}&=\phi({W_{hn}h^{(t)}+{B_{hn}+x^{t(t)}\z})\pi)$

각 반복 루프의 끝에는 t ${\displaystyle \leftarrow t}$ +$$ {\$displaystyle$ t$\gets$ t$+1$}이$$ $있습니다{\displaystyle }$.연산자 $⊙$ {\$displaystyle \odot}$은 Hadamard 제품을 나타내고,$\sigma {\displaystyle }$ {\$displaystyle \phi}$는 Sigmoid 및 쌍곡선 탄젠트의 활성화 함수를 나타냅니다.

변수

• ${\displaystyle x^{}}$( ${\displaystyle t^{}}$) { $displaystyle$ x^ { ($$$t$ )$$} :현재 $단어{\displaystyle {}^{}}$v (${\displaystyle t^{}}$){ $displaystyle$ v^ { ($$$t$ )}를${\displaystyle {}^{}}$입력 ${\displaystyle {\mathrm{기능}}^{}}$으로 x$$(${\displaystyle {}^{}}$t ){ $displaystyle x^${ ( t )} 에$$ 투영합니다.이 결과는 다음 숨겨진 상태에서 사용되며 제안된 콘텐츠 적응형 게이트로 전달됩니다.
• ${\displaystyle n^{}}$( ${\displaystyle t^{}}$) { $displaystyle$ n$^{$ ( $t$)$$} : GRU와 비교하여 리셋게이트가 제외되었습니다.이$명령어는$h(\$displaystyle h^{($$t$)})와$x$t$$)})에 $관련$된 파라미터를 조합하여 새로운 숨김 $)\$ n$^{(t$을 생성합니다.
• ${\displaystyle z^{}}$( ${\displaystyle t^{}}$) { $displaystyle$ z$^{$ ($t$ )$$} : GRU의 업데이트게이트와 동일하며 숨김 상태의 천이에 사용됩니다.
• ${\displaystyle l^{}}$( ${\displaystyle t^{}}$) { $displaystyle$ l$^{$ ($t$ )$$} : 업데이트게이트와 현재 기능의 무게를 조합하는 Hadamard 연산자가 있습니다.이 게이트는 현재 숨겨진 상태를 희석시키는 것이 아니라 점진적인 전환의 양에 영향을 미치는 콘텐츠 적응 게이트로 명명되었습니다.
• ${\displaystyle h^{}}$( ${\displaystyle t^{}}$+${\displaystyle 1^{}}$) { { $displaystyle$ h^ { ( t +$1$ )$$} :다음 숨김 $상태$는 h${\displaystyle {}^{}}$( ${\displaystyle t^{}}$ $displaystyle$ h^ { ($t$ )} 및 $n$ ( $){$ $displaystyle$ n^ { ($$t $)\}$ 와 조합됩니다.

데이터 흐름

CARU의 또 다른 특징은 장기 콘텐츠 의존도를 완화하기 위해 재설정 게이트를 사용하는 대신 현재 단어에 따른 숨겨진 상태의 가중치와 콘텐츠 적응형 게이트의 도입이다.CARU에 의해 처리되는 데이터 흐름에는 다음 3가지 트렁크가 있습니다.

• 내용 상태:이를 통해 선형 레이어에 의해 실현되는 새로운${\displaystyle {}^{}}숨겨진{\displaystyle {}^{}}$ ${\displaystyle {\mathrm{상태n}}^{}}$( t ) \ $displaystyle$ n$^{$ ( $t$) }이$$ 생성됩니다.이 부분은 단순한 RNN 네트워크에 해당합니다.

• Word-weight:현재 워드의 무게${\displaystyle }\delta {\displaystyle }$ (${\displaystyle {}^{}}$ (${\displaystyle t^{}}$) \ $displaystyle \sigma$($x^$ { ( t )$$} )를$$ 생성합니다.GRU 리셋게이트와 같은 기능을 가지고 있지만 내용 전체가 아닌 현재 워드를 기반으로 합니다.구체적으로는 무게와 음성 부분 간의 관계를 연결하는 태그 지정 태스크로 간주할 수 있습니다.
• 콘텐츠 무게:현재 컨텐츠의 $무게{\displaystyle {}^{}}$z$(\$ z$^{(t)})$를 생성합니다. 형태는 GRU 업데이트 게이트와 동일하지만 장기적인 의존성을 극복하는 것을 목적으로 합니다.

GRU와 대조적으로 CARU는 이러한 데이터 흐름을 처리할 의도가 없으며, 대신 워드 웨이트를 콘텐츠 적응형 게이트에 디스패치하고 콘텐츠 웨이트와 곱합니다.이렇게 해서 내용 적응 게이트는 단어와 내용을 모두 고려합니다.

레퍼런스