장기 단기 기억력

이 기사는 대부분의 독자들이 이해하기에는 너무 전문적일 수 있다. 기술적인 세부사항을 삭제하지 않고 비전문가도 쉽게 이해할 수 있도록 개선해 주시기 바랍니다. (2022년 3월) (이 템플릿메시지 삭제 방법 및 삭제 시기 확인)

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

LSTM(^[1]Long Short-Term Memory)은 인공지능과 딥러닝 분야에서 사용되는 인공신경망이다.표준 피드포워드 뉴럴 네트워크와는 달리 LSTM은 피드백 접속이 있습니다.이러한 반복신경망(RNN)은 단일 데이터 포인트(이미지 등)뿐만 아니라 전체 데이터 시퀀스(음성 또는 비디오 등)도 처리할 수 있습니다.예를 들어 LSTM은 분할되지 않은, 연결된 필기 인식,^[2] 음성 인식,^[3][4] 기계 번역,^[5][6] 로봇 제어,^[7][8] 비디오 게임 ^[9][10]및 의료 ^[11]등의 작업에 적용할 수 있습니다.LSTM은 20세기에 ^[12]가장 많이 인용된 신경 네트워크가 되었다.

LSTM의 이름은 표준 RNN이 "장기 메모리"와 "단기 메모리"를 모두 가지고 있다는 것을 의미합니다.네트워크의 연결 무게와 편견은 시냅스 강도의 생리적인 변화가 장기 기억을 저장하는 방법과 유사하며, 네트워크의 활성화 패턴은 시간 단계마다 한 번씩 변화하며, 뇌의 전기 발화 패턴의 순간적인 변화가 단기 기억을 저장하는 방법과 유사합니다.s.^[13] LSTM 아키텍처는 수천 개의 시간 단계를 지속할 수 있는 RNN에 단기 메모리를 제공하는 것을 목표로 하고 있으며, 따라서 "장기 단기 메모리"^[1]를 제공합니다.

공통 LSTM 유닛은 셀, 입력 게이트, 출력^[14] 게이트 및 포겟 ^[15]게이트로 구성된다.셀은 임의의 시간 간격에 걸쳐 값을 기억하고 3개의 게이트는 셀을 출입하는 정보의 흐름을 조절합니다.

LSTM 네트워크는 시계열 내의 중요한 이벤트 간에 알 수 없는 시간 지연이 발생할 수 있기 때문에 시계열 데이터를 기반으로 분류, 처리 및 예측에 적합합니다.LSTM은 기존 RNN을 훈련할 때 발생할 수 있는 소멸 구배^[16] 문제를 다루기 위해 개발되었다. 갭 길이에 대한 상대적 둔감함은 수많은 애플리케이션에서 ^{[citation needed]}RNN, 숨겨진 마르코프 모델 및 기타 시퀀스 학습 방법에 비해 LSTM의 장점이다.

아이디어

이론적으로 클래식(또는 "바닐라") RNN은 입력 시퀀스에서 임의의 장기 의존성을 추적할 수 있습니다.자연에 바닐라 RNNs의 문제점은 계산(또는 실용적):바닐라 RNN을 사용하여 back-propagation 어떤 장기적인 경사치 훈련 back-propagated 수 있" 사라지다"또는"폭발하"(즉, 그들이 infinity는 경향이 있을 수 있)[16]는 finite-prec 사용하는 계산 과정에 관여한, 때문에(즉, 그들이 찾는 경향이 있을 수 있).isi숫자에 따라.LSTM 장치를 사용하는 RNN은 LSTM 장치를 사용하여 구배도 변경되지 않고 흐를 수 있기 때문에 소실 구배 문제를 부분적으로 해결합니다.단, LSTM 네트워크에서는 여전히 폭발적인 구배 ^[17]문제가 발생할 수 있습니다.

변종

다음 방정식에서 소문자 변수는 벡터를 나타냅니다.$매트릭스{\displaystyle {}_{}}$ ${\displaystyle W_{}}$q { $displaystyle$$W$$$_ {$$q$$ } ${\displaystyle u_{}}$ u u u $U_$ { q$}$에는 각각 입력 및 반복 접속의 가중치가 포함됩니다.여기서 ${\displaystyle {}_{}}$ q ${$ $displaystyle$ _ { $q$}는 $입력{\displaystyle }$ $게이트{\displaystyle }$$$i { $displaystyle$i$$}, $출력{\displaystyle }$ 게이트$$o { $displaystyle$o$\},$ 잊기 게이트$$f { $disp$} 중 하나입니다.$계산$ 중인 $활성화$에 따라 laystyle $f{\displaystyle }$$}$ 또는$$ 메모리 셀 c$\display$ c$.$따라서 이 섹션에서는 "벡터 표기법"을 사용합니다.예를 들어 c ${\displaystyle t_{}{\mathbb{}}^{}}$ R$$ \ $displaystyle$ c$_$ { $t$} \ $in$\ $mathbb${$R }^$ { $h$$}$는 1개의 LSTM 셀의 1개의 유닛이 아니라h\ $displaystyle$h} LSTM$$ 셀의 유닛을 $포함$합니다.

포겟 게이트가 있는 LSTM

포겟 게이트가 있는 LSTM 셀의 포워드 패스 방정식의 콤팩트한 형식은 다음과 같습니다.^[1][15]

${\displaystyle {t}f_{t}&=\display_{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f}\i_{t}&=\sigma_{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\filter_{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o}\{\tilde {c}_{t}&=\tilde _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c}\c_{t}&=f_{t}\odot c_{t}+i_{t}\odot {t}\h_{t}&=o_{t}\odot \{h}(c_{t}) 정렬됨$

여기서 초기값은 ${\displaystyle {c\mathrm{}}_{}}$ 0 $=$ {\$displaystyle c_{0}=$0$$} ${\displaystyle {및\mathrm{}}_{}}$ $h{\displaystyle {}_{}}$ ${\displaystyle 0}$ $=$ 0 {\$displaystyle h_{0}=$0}이고 연산자 $⊙$ {\$displaystyle \odot}$은 Hadamard 제품(제품)을 나타냅니다.$첨자{\displaystyle }$ t$\displaystyle$t는$$ 시간 스텝을 인덱싱합니다.

변수

• ${\displaystyle x_{}}$ t${\displaystyle {}_{}{\mathbb{}}^{}}$ R ${\displaystyle {}^{}}$\ $display$ style $x$_ { $t$} \ $in$\$mathbb${$R }^$ { $d$} : LSTM 유닛 입력 벡터
• ${\displaystyle f_{}}$ t ${\displaystyle {}^{}}$ (${\displaystyle 0^{}}$ ,${\displaystyle 1^{}}$ )$h {$ { $displaystyle f$ _ { t $}$ \ in { ($0$ , 1 ) $}^{h$ : 게이트의 액티베이션벡터를 잊어버립니다.
• ${\displaystyle i_{}}$ t$$ (${\displaystyle 0^{}}$ ,$1 )$ { ( 0 , 1 )\$in${ ($0$ , 1 )^{$h$ : 입력/업데이트 게이트의 액티베터
• ${\displaystyle o_{}}$ t ${\displaystyle {}^{}}$ (${\displaystyle 0^{}}$ ,${\displaystyle 1^{}}$ )${\displaystyle {}^{}}$ $\$ $display$ style $o$_ { $t$} \ $in${ ( $0$, $1$)^{ $h$ : 출력 게이트의 활성화 벡터
• ${\displaystyle h_{}}$ t ${\displaystyle {}^{}}$( -${\displaystyle 1^{}}$,${\displaystyle {}^{}}$1) ${\displaystyle {}^{}}${ \ $displaystyle h$_ { $t$} \ $in${ ( -$1$, 1$)$ }^{$h$ : LSTM 유닛의 출력 벡터라고도 불리는 숨겨진 상태 벡터
• ${\displaystyle {\stackrel{}{c}}_{}}$~ ${\displaystyle t_{}}$ ${\displaystyle {}^{}}$( -${\displaystyle 1^{}}$, ${\displaystyle {}^{}}$)$$h \ $displaystyle${ $tilde${$c } _$ { $t$} \ $in${ ( -$1$, 1$)$ }^{ $h$ : 셀 입력 액티베이션 벡터
• ${\displaystyle c_{}}$ t${\displaystyle {}_{}{\mathbb{}}^{}}$ ${\displaystyle {}^{}}$h \$displaystyle c_{t}\in \mathbb {R}^{h$ : 셀 상태 벡터
• ${\displaystyle }$$W{\displaystyle }$${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$×$$ \ $style$W \ $in$\$mathbb { R$ } ^ {$h$ \ $times$ d$$} , U${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$×$$ \ $display$ U $\ in$ \ $mathbb {$$R$ } ^ {$$$h\$ $times$ h$}$ 및$$ $b{\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$h \ $style$ b \ $display$ b$\in$ \ mathbb { R } ^ { r$}${{ matrices matrices matrices matrices matrices matrices and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and and

여기서 $superscripts{\displaystyle }$d$\displaystyle$ $d$와 h$\displaystyle$h는$$ 각각 입력 기능의 수와 숨겨진 장치의 수를 나타냅니다.

활성화 기능

• $§$ $g$ \$displaystyle$ \$display _${ g$$} : sigmoid ${\displaystyle {\mathrm{함수}}_{}}$.
• $§$ $c$ \$displaystyle$ \$display _${ c$$} : 쌍곡선 접선 ${\displaystyle {\mathrm{함수}}_{}}$.
• $h$ \$displaystyle$ \$display _${ h$$} : $hole$ ${\displaystyle h}$ (${\displaystyle }$x^[18][19] )$=$ ${\displaystyle x}$ ${\displaystyle {}_{}}$ $displaystyle$ \$displaystyle$_ { h （$$x$）=$$x{\displaystyle {}_{}}$ } 。

피프홀 LSTM

오른쪽 그림은 핍홀 접속(즉, 핍홀 LSTM)^[18][19]이 있는 LSTM 장치를 그래픽으로 나타낸 것입니다.핍홀 접속을 통해 게이트는 셀 상태를 ^[18]활성화하는 CEC(Continent Error Carousel)에 액세스할 수 있습니다.${\displaystyle h_{}}$ t${\displaystyle {}_{}}$- 1$({$은 사용되지 않고 $대신{\displaystyle {}_{}}$ ${\displaystyle c_{}}$ t -$$({$displaystyle c_{t-1})$이 사용됩니다.

${\displaystyle {t}f_{t}&=\display_{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f}\i_{t}&=\sigma_{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i}\\o_{t}&=\filter_{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o}\\c_{t}&=f_{t}\odot c_{t1}+i_{t}\odot \modot _{c}(W_{c}x_{t}+b_{c})\\h_{t}&=o_{t}\odot \modot _{h}(c_{t})\end{aligned}}$

각 관문은 피드포워드(또는 다층) 신경망의 "표준" 뉴런으로 생각할 수 있다. 즉, 그들은 가중치 합계의 활성화(활성화 함수를 사용하여)를 계산한다.${\displaystyle {}_{}{}_{}}$ t${\displaystyle {}_{}}$ ${\displaystyle o_{}}$ t$$\ $displaystyle i_{t$}, $o_{t}$ $및$ ${\displaystyle f_{}}$ ${\$ $displaystyle f_{t}$는 각각 시간 단계 $t{\displaystyle }$\ $displaystyle$t \$$에서의 입력 게이트, 출력 게이트 및 포겟 게이트의 액티베이션을 나타냅니다.

메모리 $셀{\displaystyle }$c$(\$$displaystyle$ $c$)에서 3개의 $게이트{\displaystyle }$ i$o(\displaystyle$ i,o) 및 f(\$displaystyle$ f$)$로 가는 3개의 출구 화살표는 핍홀 연결을 나타냅니다.이러한 핍홀 접속은 실제로 시간 $단계{\displaystyle }$t - $({displaystyle t-1$에서의 메모리 $셀{\displaystyle }$c({$displaystyle$c_${$t}) $활성화$의 영향을 나타냅니다(그림에서 알 수 있듯이 ${\displaystyle c_{}}$t${\displaystyle {\mathrm{t}}_{}}$ -$$1({$displaystyle c_{t$즉, $게이트{\displaystyle }$ i$, o$$,$$f는$메모리$$ 셀$cdisplaystyle$의 활성화도 고려하여 $t$${\displaystyle {}_{}}$ $o,$ t$,$ o, o,$o_{$t$$} $및{\displaystyle {}_{}}$ $t$의 시간 $스텝{\displaystyle }$t$($즉, ${\displaystyle {각각}_{}}$ $,$ o, $o_{$t$\})$에서 활성화가 계산됩니다.$시간{\displaystyle }$ $스텝$ t${\displaystyle }$- $({displaystyle t-1$ $즉{\displaystyle {}_{}}$ ${\displaystyle c_{}}$ t${\displaystyle {}_{}}$-$$({$displaystyle c_{t-1$에서 yle$$c를 선택합니다$$.

메모리 셀에서 나오는 왼쪽에서 오른쪽으로의 화살표는 peephole 접속이 아니며 c ${\displaystyle t_{}}$ ${\$를 $나타냅니다{\displaystyle {}_{}}$.

$×(\displaystyle \times)$ 기호가$$ 포함된 작은 원은 입력 사이의 요소별 곱셈을 나타냅니다.S와 같은 곡선을 포함하는 큰 원은 가중치 합계에 미분 가능한 함수(Sigmoid 함수와 같은)의 적용을 나타냅니다.

피프홀 컨볼루션 LSTM

Peephole 컨볼루션 LSTM.^[20]$§$ {$displaystyle *}$은 컨볼루션 연산자를 나타냅니다.

${\displaystyle {t}f_{t}&=\display_{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\odot c_{t-1}+b_{f}\i_{t}&=\cisco_{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\odot c_{t-1}+b_{i})\\c_{t}&=f_{t}\odot c_{t-1}+i_{t}\odot \c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c}\o_{t}&=\sigma_{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\odot c_{t}+b_{o}\\h_{t}&=o_{t}\odot \modot _{h}(c_{t})\end{aligned}}$

트레이닝

LSTM 장치를 사용하는 RNN은 일련의 훈련 시퀀스에 대해 감독 방식으로 훈련할 수 있으며, 시간의 역전파와 결합된 구배 강하와 같은 최적화 알고리즘을 사용하여 최적화 프로세스 중에 필요한 구배를 계산하여 오류의 도함수에 비례하여 LSTM 네트워크의 각 가중치를 변경할 수 있다.또는 (LSTM 네트워크의 출력 레이어에서) 대응하는 무게에 관한 것입니다.

표준 RNN에 구배 강하를 사용할 때의 문제는 오류 구배가 중요한 사건 사이의 시간 지연의 크기와 함께 기하급수적으로 빠르게 사라진다는 것이다.이는$W$의 $스펙트럼{\displaystyle }$ 반지름이 ^[16][21]1보다 작을 경우 ${\displaystyle \underset{}{lim}}$ n ${\displaystyle \underset{}{\to \mathrm{}}{}^{}}$ ${\displaystyle W^{}}$$$n $=$ { $displaystyle$$\lim$_ {$n\to \infty$} $W^{n$}=$0}$에 기인한다.

다만, LSTM 유닛에서는, 에러치가 출력 레이어에서 역전파되면, 에러는 LSTM 유닛의 셀에 남습니다.이 "error carousel"은 각 LSTM 유닛의 게이트가 값을 끊는 방법을 학습할 때까지 오류를 지속적으로 반환합니다.

CTC 점수 함수

많은 애플리케이션은 LSTM RNN^[22] 스택을 사용하여 연결주의 시간 분류(CTC)[23]에 의해 훈련하여 대응하는 입력 시퀀스가 주어진 트레이닝 세트에서 라벨 시퀀스의 확률을 최대화하는 RNN 가중치 매트릭스를 찾습니다.CTC는 정렬과 인식을 모두 실현합니다.

대체 수단

경우에 따라서는, 특히 「선생님」(즉, 트레이닝 라벨)이 없는 경우, 신경 진화^[24] 또는 정책 그라데이션 방법에 의해서 LSTM을 트레이닝(일부)하는 것이 유리할 수 있습니다.

성공.

LSTM 유닛을 사용한 RNN의 비지도 방식 훈련은 몇 가지 성공 사례가 있습니다.

2018년 빌 게이츠는 오픈이 개발한 봇을 "인공지능을 발전시키는 거대한 이정표"라고 불렀다.AI는 도타2 ^[9]게임에서 인간을 이길 수 있었다.OpenAI Five는 독립적이지만 조정된 5개의 뉴럴 네트워크로 구성되어 있습니다.각 네트워크는 교사를 감독하지 않고 정책 구배법에 의해 훈련되며, 현재 게임 상태를 확인하고 여러 ^[9]가능한 액션 헤드를 통해 액션을 실행하는 1024 유닛의 단일 레이어 장단기 메모리를 포함한다.

2018년 OpenAI는 이와 유사한 LSTM을 정책 구배별로 교육하여 전례 없는 능숙한 ^[8]솜씨로 물리적 물체를 조작하는 인간과 같은 로봇 손을 제어했습니다.

2019년, DeepMind의 프로그램 AlphaStar는 복잡한 비디오 게임 Starcraft ^[10]II에서 뛰어나기 위해 깊은 LSTM 코어를 사용했다.이것은 인공지능을 ^[10]향한 중요한 진보로 여겨졌다.

적용들

LSTM에는 다음이 포함됩니다.

개발 일정

1991년: Sepp Hochreiter는 위르겐 슈미트후버가 조언한 독일어 졸업장^[16] 논문에서 사라지는 구배 문제를 분석하고 방법의 원리를 개발했습니다.

1995: "Long Short-Term Memory(LSTM)"는 Sepp Hochreiter와 Jurgen Schmidhuber의 ^[47]기술 보고서에 게재되어 있습니다.

1996년: LSTM은 NIPS의 1996년 피어 리뷰 회의에서 ^[14]발표된다.

1997: 주요 LSTM 논문은 Neural Computation ^[1]저널에 게재되었습니다.LSTM은 Continent Error Carousel(CEC) 유닛을 도입함으로써 소실 구배 문제에 대처하고 있습니다.LSTM 블록의 초기 버전에는 셀, 입력 ^[48]및 출력 게이트가 포함되어 있습니다.

1999년: 펠릭스 거스와 그의 어드바이저 위르겐 슈미드허버 및 프레드 커민스는 포겟 게이트(^[49]일명 '킵 게이트')를 LSTM 아키텍처에 도입하여 LSTM이 자체 상태를 ^[48]리셋할 수 있도록 했습니다.

2000년: Gers & Schmidhuber & Cummins는 아키텍처에 ^[15]핍홀 접속(셀에서 게이트로의 접속)을 추가했습니다.또한 출력 활성화 기능이 ^[48]누락되었습니다.

2001년: Gers와 Schmidhuber는 LSTM을 훈련시켜 숨겨진 마르코프 ^[18][50]모델 등 전통적인 모델로는 배울 수 없는 언어를 습득했습니다.

호크레이터 외메타 학습(즉, 학습 ^[51]알고리즘 학습)에 LSTM을 사용했다.

2004년: Schmidhuber의 제자인 Alex Graves ^[52][50]등의 연설에 LSTM을 최초로 적용.

2005년: LSTM의 최초 발행(Graves and Schmidhuber)과 완전한 역방향 LSTM의 ^[25][50]동시 전개.

2005년: Daan Wierstra, Faustino Gomez 및 Schmidhuber는 ^[24]교사 없이 신경 진화를 통해 LSTM을 훈련시켰습니다.

2006년: Graves, Fernandez, Gomez 및 Schmidhuber는 ^[23]시퀀스의 동시 정렬과 인식을 위한 LSTM: Connectist Temporal Classification(CTC)의 새로운 오류 함수를 도입했다.CTC에서 훈련받은 LSTM은 음성 ^{[26][53][54][55]}인식의 비약적인 발전을 이끌었다.

Mayer 등은 LSTM을 훈련시켜 ^[7]로봇을 제어했다.

2007년: Wierstra, Foerster, Peters 및 Schmidhuber는 교사 ^[56]없이 강화 학습을 위해 정책 구배를 통해 LSTM을 교육했습니다.

Hochreiter, Huesel, Obermayr는 단백질 호몰로지 검출에 LSTM을 ^[35]적용했다.

2009년: CTC에서 트레이닝한 LSTM이 ICDAR 연결 필기 인식 대회에서 우승했습니다.이 ^[2]세 가지 모델은 알렉스 그레이브스가 이끄는 팀에 의해 제출되었다.하나는 경쟁에서 가장 정확한 모델이었고 다른 하나는 가장 ^[57]빨랐다.RNN이 국제 ^[50]대회에서 우승한 것은 이번이 처음이었다.

2009년: 저스틴 바이엘 외 연구진은 LSTM에 ^[58][50]대한 신경 아키텍처 검색을 도입했다.

2013년: Alex Graves, Abdel-rahman Mohamed 및 Geoffrey Hinton은 네트워크의 주요 구성요소로 LSTM 네트워크를 사용하여 TIMIT 자연 음성 ^[27]데이터 세트에서 17.7%의 음소 오류율을 달성했습니다.

2014년 : 조경현 등에서는 Gated Recurrent Unit(GRU;^[59] 게이트 반복 단위)라고 불리는 Forget Gate^[49] LSTM의 단순화된 변형을 제시하였습니다.

2015년: 구글은 구글 ^[53][54]보이스에서 음성 인식을 위해 CTC에서 훈련한 LSTM을 사용하기 시작했습니다.공식 블로그 투고에 따르면 새 모델은 전사 오류를 49%^[60] 줄였다고 합니다.

2015년:Rupesh 쿠마르 Srivastava, 클라우스 Greff, Schmidhuber 고속 도로 네트워크, 계층들 수백명의, 훨씬 이전의 네트워크 보다 더 깊게와 피드 포워드 신경 네트워크를 만드는데 LSTM principles[49]을 사용했다.[61][62][12]7개월 후, Kaiming 배로 돌았습니다, Xiangyu 장춘챠오 Shaoqing 렌,과 지안 태양 또는 문이 없는 open-gated 도로 netw과 ImageNet 2015년 대회에서 우승했다.잔류 신경망이라고 불리는 오크 변종.^[63]이것은 21세기에 ^[12]가장 많이 인용되는 신경망이 되었다.

2016년 : 구글은 알로 대화 ^[64]앱에서 메시지를 제안하기 위해 LSTM을 사용하기 시작했습니다.같은 해 구글은 번역 오류를 ^[5][65][66]60% 줄이기 위해 LSTM을 사용한 구글용 신경기계 번역 시스템을 출시했다.

애플은 세계 개발자 회의에서 아이폰의 퀵^[67][68][69] 타이핑과 ^[70][71]시리용으로 LSTM을 사용하기 시작할 것이라고 발표했다.

아마존은 텍스트 투 스피치 ^[72]테크놀로지에 쌍방향 LSTM을 사용하여 Alexa의 목소리를 생성하는 Polly를 출시했다.

2017년: 페이스북은 매일 약 45억 개의 자동번역을 장기 단기 메모리 ^[6]네트워크를 사용하여 수행하였습니다.

미시간 주립 대학, IBM 연구 및 코넬 대학의 연구원들은 KDD(^[73][74][75]Knowledge Discovery and Data Mining) 컨퍼런스에서 연구를 발표했습니다.Time-Aware LSTM(T-LSTM; 시간 인식 LSTM)은 표준 LSTM보다 특정 데이터 세트에서 더 나은 성능을 발휘합니다.

마이크로소프트는 165,000단어의 어휘를 포함하여 교환기 말뭉치에 대한 인식 정확도가 94.9%에 달했다고 보고했습니다.이 방법에서는 "대화 세션 기반 장기 기억"^[55]을 사용했습니다.

2018년 : OpenAI는 정책 구배 훈련 LSTM을 사용하여 복잡한 ^[9]도타2의 비디오 게임에서 인간을 이기고 전례 없는 솜씨로 ^[8][50]물체를 조종하는 인간과 같은 로봇 손을 제어하였습니다.

2019년: DeepMind는 정책 구배에서 훈련받은 LSTM을 사용하여 스타크래프트 ^[10][50]II의 복잡한 비디오 게임에서 뛰어난 성능을 발휘했습니다.

2021년: Google Scholar에 따르면 2021년 LSTM은 1년 동안 16,000회 이상 인용되었습니다.이는 의료 ^[11]등 다양한 분야에서 LSTM의 적용을 반영하고 있습니다.

「 」를 참조해 주세요.

레퍼런스

외부 링크

• IDS의 위르겐 슈미드허버 그룹에 의한 30개가 넘는 LSTM 논문의 반복 신경 네트워크IA
• Gers, Felix (2001). "Long Short-Term Memory in Recurrent Neural Networks" (PDF). PhD thesis.
• Gers, Felix A.; Schraudolph, Nicol N.; Schmidhuber, Jürgen (Aug 2002). "Learning precise timing with LSTM recurrent networks" (PDF). Journal of Machine Learning Research. 3: 115–143.
• Abidogun, Olusola Adeniyi (2005). Data Mining, Fraud Detection and Mobile Telecommunications: Call Pattern Analysis with Unsupervised Neural Networks. Master's Thesis (Thesis). University of the Western Cape. hdl:11394/249. Archived (PDF) from the original on May 22, 2012.
  • 특히 LSTM과 같은 반복적인 신경망을 설명하는 데 전념하는 두 장의 장으로 구성된 원본.
• Monner, Derek D.; Reggia, James A. (2010). "A generalized LSTM-like training algorithm for second-order recurrent neural networks" (PDF). Neural Networks. 25 (1): 70–83. doi:10.1016/j.neunet.2011.07.003. PMC 3217173. PMID 21803542. High-performing extension of LSTM that has been simplified to a single node type and can train arbitrary architectures
• Dolphin, R (12 November 2021). "LSTM Networks – A Detailed Explanation". Article.
• Herta, Christian. "How to implement LSTM in Python with Theano". Tutorial.