에코 스테이트 네트워크

Echo state network
에코 스테이트 네트워크의 기본 스키마

에코스테이트네트워크(ESN)[1][2]는 리저버컴퓨터의 일종으로, 희박하게 접속되어 있는 숨겨진 레이어(일반적으로 1% 접속)를 가지는 반복적인 뉴럴 네트워크를 사용합니다.숨겨진 뉴런의 연결성과 무게는 고정되고 무작위로 할당됩니다.출력 뉴런의 무게는 네트워크가 특정 시간 패턴을 생성하거나 재현할 수 있도록 학습할 수 있다.이 네트워크의 주요 관심사는 그 행동이 비선형이지만, 훈련 중에 수정된 유일한 가중치는 숨겨진 뉴런을 출력 뉴런에 연결하는 시냅스라는 것이다.따라서 오차함수는 파라미터 벡터에 관한 2차 함수이며 선형 시스템으로 쉽게 구분할 수 있습니다.

또는 (i) 출력 가중치에 대해 사전 분포가 부과되고 (ii) 훈련 데이터가 주어진 예측 생성의 맥락에서 출력 가중치가 소외되는 비모수적인 출력 계층의 베이지안 공식을 고려할 수 있다.이 아이디어는 ESN 구동 커널 함수를 가진 가우스 프로세스 모델을 얻을 수 있는 가우스 프리어를 사용하여 에서 입증되었습니다[3].그러한 솔루션은 여러 벤치마크에서 훈련 가능한 (확실한) 체중 집합을 가진 ESN을 능가하는 것으로 나타났다.

ESN의 공개 실장에는 (i) aureservoir: python/numpy 바인딩을 가진 다양한 종류의 에코 스테이트 네트워크를 위한 효율적인 C++ 라이브러리, (ii) Matlab 코드: 에코 스테이트 네트워크를 위한 효율적인 매트랩, (iii) Lisper Computing 등이 있습니다.jl: 다양한 유형의 에코 스테이트 네트워크의 효율적인 Julia 기반 구현 및 (iv) pyESN: Python의 단순한 에코 스테이트 네트워크.

배경

Echo State Network(ESN;[4] 에코스테이트 네트워크)는 RNN(Recurrent Neural Network) 패밀리에 속하며 아키텍처와 지도 학습 원칙을 제공합니다.피드포워드 뉴럴 네트워크와 달리, 순환 뉴럴 네트워크는 기능이 아닌 동적 시스템입니다.반복 신경 네트워크는 일반적으로 엔지니어링 및 통신에서의 신호 처리, 진동 분석, 지진학, 엔진 및 발전기의 제어 등 동적 프로세스를 학습하는 데 사용됩니다.신호 예측 및 생성: 텍스트, 음악, 전기 신호.생물학적 시스템 모델링, 신경과학(인지신경역학), 메모리 모델링, 뇌-컴퓨터 인터페이스(BCI), 필터링 및 칼만 프로세스, 군사 애플리케이션, 휘발성 모델링 등

RNN 교육을 위해 시간을 통한 역전파, 실시간 반복 학습 등 다양한 학습 알고리즘을 사용할 수 있다.불안정성과 분기 [4]현상으로 인해 수렴이 보장되지 않습니다.

ESN의 주요 접근법은 첫째, 입력 신호로 무작위, 대형, 고정, 반복 신경망을 작동시키는 것이며, 이는 이 "저류" 네트워크 내의 각 뉴런에 비선형 응답 신호를 유도하고, 둘째, 이러한 모든 응답 [2]신호의 훈련 가능한 선형 조합으로 원하는 출력 신호를 연결하는 것이다.

ESN의 또 다른 기능은 예측에서의 자율 동작입니다.에코스테이트 네트워크가 출력의 백시프트 버전인 입력으로 훈련되어 있는 경우 이전 출력을 [4]입력으로 사용하여 신호 생성 및 예측에 사용할 수 있습니다.

ESN의 주요 아이디어는 Wolfgang Maass가 [5]ESN과 함께 독립적으로 동시에 개발한 LSM(Liquid State Machine)과 관련되어 있습니다.LSM, ESN 및 RNN에 대해[6] 새롭게 연구된 Backpropagation Decorrelation Learning 규칙은 점점 더 저장소 컴퓨팅이라는 이름으로 요약된다.

쉴러와 스틸은[6] 또한 모든 체중(출력 체중뿐만 아니라)이 적응되는 RNN에 대한 기존 훈련 접근법에서 주요 변화는 출력 체중에서 나타난다는 것을 입증했다.인지신경과학에서는 피터 F.도미니는 포유류의 뇌, 특히 인간의 [7]뇌에서 음성 인식의 시퀀스 처리 모델링과 관련된 관련 과정을 분석했다.기본 아이디어는 또한 생물학적 신경 네트워크에서 [8]시간적 입력 식별 모델을 포함했다.저장소 컴퓨팅 아이디어의 초기 명확한 공식화는 K에 기인한다.Kirby는 거의 잊혀진 회의 기고문에서 이 개념을 [9]공개했다.오늘날 알려진 저장소 컴퓨팅 아이디어의 첫 공식은 L에서 비롯되었습니다.Schomaker는 [10]스파이킹 신경 [2]발진기의 무작위로 구성된 앙상블의 신호를 조합하여 RNN에서 원하는 목표 출력을 얻는 방법을 설명했습니다.

변종

에코 스테이트 네트워크는 다양한 방법으로 구축할 수 있습니다.이들은 직접 훈련 가능한 입력-출력 연결 유무, 출력 예약 피드백 유무, 다양한 신경 유형, 다양한 저장 장치 내부 연결 패턴 등을 사용하여 설정할 수 있습니다.출력 가중치는 온라인인지 오프라인인지에 관계없이 모든 알고리즘에서 선형 회귀를 위해 계산할 수 있습니다.출력값을 결정하기 위해 가장 작은 정사각형의 오차에 대한 해결책과 더불어 마진 최대화 기준,[11] 이른바 훈련 지원 벡터 기계가 사용됩니다.에코 스테이트 네트워크의 다른 변종에서는 일반적으로 미분방정식에 의해 정의되는 것과 같은 물리 시스템의 공통 모델에 더 잘 일치하도록 공식을 변경하려고 합니다.이 방향의 작업에는 부분적으로 물리 모델,[12] 하이브리드 에코 스테이트 네트워크 [13]및 연속 시간 에코 스테이트 [14]네트워크가 포함됩니다.

고정 RNN은 동적 응답인 "에코"가 신호 베이스로 사용되는 임의 비선형 매체 역할을 합니다.이 베이스의 선형 조합은 일부 오류 [2]기준을 최소화하여 원하는 출력을 재구성하도록 훈련할 수 있습니다.

중요성

RNN은 연결 조정에 관련된 복잡성(예: 자동 분화의 결여, 소멸/폭발 구배 등의) 때문에 ESN이 도입되기 전에는 실제로 거의 사용되지 않았다.RNN 훈련 알고리즘은 느렸고 분기 [15]오류와 같은 문제에 종종 취약했습니다.따라서 컨버전스를 보장할 수 없었습니다.한편 ESN 트레이닝은 브런치에 문제가 없고 구현이 용이합니다.초기 연구에서 ESN은 합성 데이터 [1][16]세트의 시계열 예측 작업에서 우수한 성능을 발휘하는 것으로 나타났다.

그러나 오늘날 RNN의 속도가 느려지고 오류가 발생하기 쉬운 문제의 대부분은 LSTM 및 GRU와 같은 보다 안정적인 아키텍처의 등장으로 해결되어 ESN의 고유한 판매 포인트가 상실되었습니다.또한, RNN은 언어 처리와 같은 몇 가지 실용적인 분야에서 입증되었습니다.저장고 계산 방법을 사용하여 유사한 복잡성의 작업을 처리하려면 과도한 크기의 메모리가 필요하다.

단, ESN은 많은 신호 처리 애플리케이션 등 일부 영역에서 사용됩니다.특히, 그것들은 비디지털 컴퓨터 기판과 잘 혼합되는 컴퓨팅 원리로 널리 사용되어 왔다.ESN은 RNN의 파라미터를 변경할 필요가 없기 때문에 비선형 "저장소"로서 다양한 객체를 사용할 수 있습니다.예를 들어, 광학 마이크로칩, 기계 나노오실레이터, 고분자 혼합물, 또는 심지어 인공 부드러운 팔다리를 [2]들 수 있습니다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ a b Jaeger, H.; Haas, H. (2004). "Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication" (PDF). Science. 304 (5667): 78–80. Bibcode:2004Sci...304...78J. doi:10.1126/science.1091277. PMID 15064413. S2CID 2184251.
  2. ^ a b c d e Jaeger, Herbert (2007). "Echo state network". Scholarpedia. 2 (9): 2330. Bibcode:2007SchpJ...2.2330J. doi:10.4249/scholarpedia.2330.
  3. ^ Chatzis, S. P.; Demiris, Y. (2011). "Echo State Gaussian Process". IEEE Transactions on Neural Networks. 22 (9): 1435–1445. doi:10.1109/TNN.2011.2162109. PMID 21803684. S2CID 8553623.
  4. ^ a b c Jaeger, Herbert (2002). A tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the "echo state network" approach. Germany: German National Research Center for Information Technology. pp. 1–45.
  5. ^ Maass W., Natschlaeger T., and Markram H. (2002). "Real-time computing without stable states: A new framework for neural computation based on perturbations". Neural Computation. 14 (11): 2531–2560. doi:10.1162/089976602760407955. PMID 12433288. S2CID 1045112.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)
  6. ^ a b Schiller U.D. and Steil J. J. (2005). "Analyzing the weight dynamics of recurrent learning algorithms". Neurocomputing. 63: 5–23. doi:10.1016/j.neucom.2004.04.006.
  7. ^ Dominey P.F. (1995). "Complex sensory-motor sequence learning based on recurrent state representation and reinforcement learning". Biol. Cybernetics. 73 (3): 265–274. doi:10.1007/BF00201428. PMID 7548314. S2CID 1603500.
  8. ^ Buonomano, D.V. and Merzenich, M.M. (1995). "Temporal Information Transformed into a Spatial Code by a Neural Network with Realistic Properties". Science. 267 (5200): 1028–1030. Bibcode:1995Sci...267.1028B. doi:10.1126/science.7863330. PMID 7863330. S2CID 12880807.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)
  9. ^ Kirby, K. (1991). "Context dynamics in neural sequential learning. Proc". Florida AI Research Symposium: 66–70.
  10. ^ Schomaker, L. (1992). "A neural oscillator-network model of temporal pattern generation". Human Movement Science. 11 (1–2): 181–192. doi:10.1016/0167-9457(92)90059-K.
  11. ^ Schmidhuber J., Gomez F., Wierstra D., and Gagliolo M. (2007). "Training recurrent networks by evolino". Neural Computation. 19 (3): 757–779. doi:10.1162/neco.2007.19.3.757. PMID 17298232. S2CID 11745761.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)
  12. ^ Doan N, Polifke W, Magri L (2020). "Physics-Informed Echo State Networks". Journal of Computational Science. 47: 101237. arXiv:2011.02280. doi:10.1016/j.jocs.2020.101237. S2CID 226246385.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)
  13. ^ Pathak J, Wikner A, Russel R, Chandra S, Hunt B, Girvan M, Ott E (2018). "Hybrid Forecasting of Chaotic Processes: Using Machine Learning in Conjunction with a Knowledge-Based Model". Chaos. 28 (4): 041101. arXiv:1803.04779. Bibcode:2018Chaos..28d1101P. doi:10.1063/1.5028373. PMID 31906641. S2CID 3883587.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)
  14. ^ Anantharaman, Ranjan; Ma, Yingbo; Gowda, Shashi; Laughman, Chris; Shah, Viral; Edelman, Alan; Rackauckas, Chris (2020). "Accelerating Simulation of Stiff Nonlinear Systems using Continuous-Time Echo State Networks". arXiv:2010.04004 [cs.LG].
  15. ^ Doya K. (1992). "Bifurcations in the learning of recurrent neural networks". In Proceedings of 1992 IEEE Int. Symp. On Circuits and Systems. 6: 2777–2780. doi:10.1109/ISCAS.1992.230622. ISBN 0-7803-0593-0. S2CID 15069221.
  16. ^ Jaeger H. (2007). "Discovering multiscale dynamical features with hierarchical echo state networks". Technical Report 10, School of Engineering and Science, Jacobs University.