저수지 컴퓨팅

Reservoir computing

저장장치 컴퓨팅은 저장장치라는 고정된 비선형 시스템의 역학을 통해 입력 신호를 보다 차원 높은 계산 공간에 매핑하는 반복 신경망 이론에서 도출된 연산 프레임워크다.[1] 입력 신호가 "블랙박스"로 취급되는 저장소로 이송된 후에는 저장소의 상태를 읽고 원하는 출력에 매핑하는 간단한 판독 메커니즘을 교육한다.[1] 이 프레임워크의 첫 번째 주요 이점은 저수지 역학이 고정되어 있기 때문에, 훈련이 판독 단계에서만 수행된다는 것이다.[1] 두 번째는 고전적, 양자적 기계적으로 자연적으로 이용할 수 있는 시스템의 연산력을 이용하여 효과적인 계산 비용을 절감할 수 있다는 점이다.[2]

역사

저장장치 컴퓨팅의 개념은 신경망 내의 재귀적 연결을 사용하여 복잡한 동적 시스템을 만드는 데서 비롯된다.[3] 그것은 반복적인 신경망, 액체 상태의 기계, 에코스테이트 네트워크와 같은 초기 신경망 구조의 일반화다. 저장장치 컴퓨팅은 또한 고전적인 의미에서 네트워크가 아니라 공간 및/또는 시간의 연속적인 시스템인 물리적 시스템으로 확장된다. 예를 들어 문자 그대로 "물의 버킷"은 표면의 섭동으로 주어진 입력에 대한 계산을 수행하는 저장장치 역할을 할 수 있다.[4] 이와 같이 반복되는 신경망의 결과적인 복잡성은 언어 처리와 동적 시스템 모델링 등 다양한 문제를 해결하는 데 유용한 것으로 밝혀졌다.[3] 그러나 반복적인 신경망의 훈련은 도전적이고 계산적으로 비용이 많이 든다.[3] 저수지 컴퓨팅은 저수지 역학 관계를 수정하고 선형 출력 계층만 교육함으로써 이러한 교육 관련 과제를 줄인다.[3]

다양한 비선형 동적 시스템은 계산을 수행하는 저장장치 역할을 할 수 있다. 최근 몇 년 동안 반도체 레이저는 전기 부품에 비해 빠르고 에너지 효율이 높아 상당한 관심을 끌었다.

최근 AI와 양자정보이론 모두 발전하면서 양자신경망 개념이 생겨났다.[5] 이는 고전적 네트워크에 도전하는 양자 정보 처리에서 장래성이 있지만 고전적 문제를 해결하는 데도 응용할 수 있다.[5][6] 2018년에는 분자 고형 내에서 핵 스핀의 형태로 양자 저장장치 컴퓨팅 아키텍처의 물리적 실현이 입증되었다.[6] 그러나 의 핵 스핀 실험은 순차적 데이터 처리를 수반하지 않기 때문에 양자 저장장치 컴퓨팅을 입증하지 못했다. 오히려 데이터는 벡터 입력으로, 이것은 무작위 주방 싱크[7] 알고리즘의 양자 구현을 더 정확하게 증명한다(일부 지역사회에서 극한 학습 기계의 이름으로도 통한다). 2019년에는 2차원 페르미온 격자 형태로 양자 저장장치 프로세서의 또 다른 구현이 제안되었다.[6] 2020년에는 게이트 기반 양자 컴퓨터에 대한 저수지 컴퓨팅의 실현이 제안되어 클라우드 기반 IBM 초전도형 단기 양자 컴퓨터에 실증되었다.[8]

저수지 컴퓨터는 시계열 분석 목적으로 사용되어 왔다. 특히 이들의 사용 중 일부는 혼란스러운 시계열 예측,[9][10] 혼돈 신호의 분리,[11] 네트워크의 역학관계와 연계 추론을 포함한다.[12]

고전적 저수지 컴퓨팅

저수지

저수지 컴퓨팅의 '저수지'는 컴퓨터의 내부 구조로, 두 가지 속성을 가져야 하는데, 그것은 반드시 개별적인 비선형 단위로 구성되어야 하며, 정보를 저장할 수 있어야 한다. 비선형성은 입력에 대한 각 단위의 반응을 기술하는데, 이것이 저수지 컴퓨터가 복잡한 문제를 해결할 수 있게 하는 것이다. 저장소는 장치를 반복 루프에 연결하여 정보를 저장할 수 있으며, 여기서 이전 입력은 다음 응답에 영향을 미친다. 과거에 기인한 반응의 변화로 컴퓨터가 특정 작업을 완료하도록 훈련할 수 있게 되었다.[13]

저수지는 가상 또는 물리적일 수 있다.[13] 가상 저장소는 일반적으로 무작위로 생성되며 신경망처럼 설계된다.[13][3] 가상 저장소는 비선형성과 반복 루프를 갖도록 설계할 수 있지만 신경망과 달리 단위 간 연결은 무작위로 이루어지며 연산 내내 변하지 않는다.[13] 물리적 저수지들은 특정한 자연계의 내재된 비선형성 때문에 가능하다. 물 표면의 잔물결 사이의 상호작용은 저수지 생성에 필요한 비선형 역학을 포함하고 있으며, 먼저 전기 모터로 잔물결을 입력한 후 판독에 잔물결을 기록하고 분석하여 패턴인식 RC를 개발하였다.[1]

판독

판독은 저장소의 출력에 대해 선형 변환을 수행하는 신경망층이다.[1] 판독 층의 가중치는 알려진 입력에 의한 흥분 후 저장소의 주걱정 패턴을 분석하여 선형 회귀 분석 또는 리지 회귀 분석과 같은 훈련 방법을 활용하여 훈련한다.[1] 주피오템포럴 저수지 패턴에 따라 시행이 달라지기 때문에 판독 방법의 세부사항은 저수지 유형별로 맞춤형으로 작성된다.[1] 예를 들어, 액체 용기를 저장소로 사용하는 저수지 컴퓨터의 판독값은 액체 표면의 주걱 모양의 패턴을 관찰해야 할 수 있다.[1]

종류들

컨텍스트 잔향 네트워크

저수지 컴퓨팅의 초기 예는 컨텍스트 반향 네트워크였다.[14] 이 아키텍처에서 입력 계층은 훈련 가능한 단일 계층 수용체에 의해 판독되는 고차원 동적 시스템에 공급된다. 두 종류의 동적 시스템이 설명되었다: 고정된 무작위 가중치를 가진 반복 신경망과 앨런 튜링의 형태생식 모델에서 영감을 받은 연속 반응-확산 시스템이다. 훈련 가능한 계층에서, 수용체론은 전류 입력을 역동적인 시스템에 울려 퍼지는 신호와 연관시킨다; 후자는 입력에 대해 역동적인 "콘텍스트"를 제공한다고 한다. 후기 작업의 언어로, 반응-확산 시스템은 저장소의 역할을 했다.

에코 상태 네트워크

주요 기사: 에코 상태 네트워크

TreeESN(Tree Echo State Network) 모델은 구조화된 데이터에 대한 저장장치 컴퓨팅 프레임워크의 일반화를 나타낸다.[15]

액체 상태 기계

주요기사 : 액체상태 기계

무질서한 액체 상태 기계

혼돈성 액체 상태 기계(CLSM)[16][17]의 액체(즉, 저수지)는 혼란스러운 스파이크 뉴런으로 만들어지지만 기계의 훈련된 입력을 설명하는 하나의 가설로 정착시켜 활동을 안정화시킨다. 이는 안정되지 않는 일반적인 유형의 저수지와는 대조적이다. 액체 안정화는 액체 내부의 신경 연결을 관장하는 시냅스 가소성과 혼돈 제어를 통해 발생한다. CLSM은 민감한 시계열 데이터를 학습하는 데 있어 유망한 결과를 보였다.[16][17]

비선형 과도 연산

이러한 유형의 정보처리는 시간에 의존하는 입력 신호가 메커니즘의 내부 역학에서 벗어날 때 가장 목적적합하다.[18] 이러한 출발은 장치의 출력에 나타나는 과도현상이나 일시적인 변경을 야기한다.[18]

심층 저장장치 컴퓨팅

딥 학습을 향해 깊은 저수지 컴퓨팅의 도입과 저수지 컴퓨팅 프레임워크, 딥 에코 주 네트워크의 확장 model[19][20][21][22]는 같은 시기에 고유한 역할을 조사에의 임시 데이터 계층적 처리를 위한 효율적으로 훈련된 모델을 개발하여(DeepESN). 레이어드 composit반복적인 신경망에서 이온

양자 저장장치 컴퓨팅

양자 저장장치 컴퓨팅은 양자 기계적 상호작용 또는 프로세스의 비선형 특성을 사용하여 고유한 비선형 저장소를[5][6][23][8] 형성할 수 있지만, 저장소에 대한 입력의 주입이 비선형성을 생성하는 경우 선형 저장소를 사용하여 수행할 수도 있다.[24] 머신러닝(machine learning)과 양자 소자의 결합으로 양자 신경동형 컴퓨팅이 새로운 연구 영역으로 부상하고 있다.[25]

종류들

양자 고조파 오실레이터 상호 작용의 가우스 상태

가우스 상태는 연속 가변 양자 시스템의 패러다임 등급이다.[26] 오늘날에는 최첨단의 광학 플랫폼,[27] 예를 들어, 자연적으로 디코오시즘에 견고하게 만들어 조작할 수 있지만, 한 국가의 가우스적 본질을 보존하는 변환은 선형이기 때문에 범용 양자 컴퓨팅 등에서는 충분하지 않다는 것은 잘 알려져 있다.[28] 일반적으로 선형 역학은 비독점적 저장장치 컴퓨팅에도 충분하지 않을 것이다. 그럼에도 불구하고 양자 고조파 오실레이터가 상호작용하는 네트워크를 고려하고 오실레이터의 서브셋의 주기적 상태 리셋에 의해 입력을 주입함으로써 그러한 역학을 저장장치 컴퓨팅 목적으로 활용할 수 있다. 이 오실레이터의 상태가 입력에 따라 어떻게 달라지는지 적절한 선택으로, 나머지 오실레이터의 관측 가능성은 저장장치 컴퓨팅에 적합한 입력의 비선형 기능이 될 수 있다. 실제로, 이러한 기능의 특성 덕분에, 보편적인 저장장치 컴퓨팅도 관측 가능함을 결합함으로써 가능해진다.es 다항식 판독 함수를 사용하는 경우.[24] 원칙적으로 그러한 저장장치 컴퓨터는 제어된 멀티모드 광학 파라메트릭 프로세스로 구현될 수 있지만,[29] 그러나 시스템으로부터의 출력의 효율적인 추출은 특히 측정 역작용을 고려해야 하는 양자 체제에서 어렵다.

2-D 양자 도트 격자

이 아키텍처에서 격자 사이트 간의 무작위 결합은 저장소에 저장장치 프로세서에 내재된 "블랙박스" 특성을 부여한다.[5] 그리고 나서 저장소는 입사 광학장에 의해 입력 역할을 하는 흥분된다. 판독은 격자 부위의 직업적 숫자의 형태로 발생하며, 입력의 자연적으로 비선형 기능이다.[5]

분자 고형에서 핵 회전

이 구조에서 분자 고형 내에 있는 인접 원자의 스핀들 사이의 양자 기계적 결합은 고차원 계산 공간을 만드는 데 필요한 비선형성을 제공한다.[6] 저장소는 관련 핵 스핀의 공진 주파수에 맞춰진 무선 주파수 전자기 방사선에 의해 흥분된다.[6] 판독값은 핵 스핀 상태를 측정하여 발생한다.[6]

게이트 기반 초전도 양자 컴퓨터의 저장장치 컴퓨팅

양자컴퓨팅의 가장 보편적인 모델은 양자컴퓨터의 퀘빗에 있는 단일 양자 게이트의 순차적 적용에 의해 양자 계산이 수행되는 게이트 기반 모델이다.[30] 시끄러운 중규모 양자(NISQ) 컴퓨터에[31] 대한 IBM의 초전도적 실증실험을 통해 게이트 기반 양자컴퓨터에 대한 저수지 컴퓨팅 구현 이론이 보고됐다.[8]

참고 항목

참조

  1. ^ a b c d e f g h Tanaka, Gouhei; Yamane, Toshiyuki; Héroux, Jean Benoit; Nakane, Ryosho; Kanazawa, Naoki; Takeda, Seiji; Numata, Hidetoshi; Nakano, Daiju; Hirose, Akira (2019). "Recent advances in physical reservoir computing: A review". Neural Networks. 115: 100–123. doi:10.1016/j.neunet.2019.03.005. ISSN 0893-6080. PMID 30981085.
  2. ^ Röhm, André; Lüdge, Kathy (2018-08-03). "Multiplexed networks: reservoir computing with virtual and real nodes". Journal of Physics Communications. 2 (8): 085007. Bibcode:2018JPhCo...2h5007R. doi:10.1088/2399-6528/aad56d. ISSN 2399-6528.
  3. ^ a b c d e 슈라우웬, 벤자민, 데이비드 버스트라테텐, 얀 반 캄펜아웃. "저수지 컴퓨팅 개요: 이론, 애플리케이션 및 구현" 인공신경망에 관한 유럽 심포지엄 2007, 페이지 471-482.
  4. ^ Fernando, C.; Sojakka, Sampsa (2003). "Pattern Recognition in a Bucket". Advances in Artificial Life. Lecture Notes in Computer Science. Vol. 2801. pp. 588–597. doi:10.1007/978-3-540-39432-7_63. ISBN 978-3-540-20057-4. S2CID 15073928.
  5. ^ a b c d e Ghosh, Sanjib; Opala, Andrzej; Matuszewski, Michał; Paterek, Tomasz; Liew, Timothy C. H. (December 2019). "Quantum reservoir processing". NPJ Quantum Information. 5 (1): 35. arXiv:1811.10335. Bibcode:2019npjQI...5...35G. doi:10.1038/s41534-019-0149-8. ISSN 2056-6387. S2CID 119197635.
  6. ^ a b c d e f g h Negoro, Makoto; Mitarai, Kosuke; Fujii, Keisuke; Nakajima, Kohei; Kitagawa, Masahiro (2018-06-28). "Machine learning with controllable quantum dynamics of a nuclear spin ensemble in a solid". arXiv:1806.10910 [quant-ph].
  7. ^ Rahimi, Ali; Recht, Benjamin (December 2008). "Weighted Sums of Random Kitchen Sinks: Replacing minimization with randomization in Learning" (PDF). NIPS'08: Proceedings of the 21st International Conference on Neural Information Processing Systems: 1313–1320.
  8. ^ a b c Chen, Jiayin; Nurdin, Hendra; Yamamoto, Naoki (2020-08-24). "Temporal Information Processing on Noisy Quantum Computers". Physical Review Applied. 14 (2): 024065. arXiv:2001.09498. Bibcode:2020PhRvP..14b4065C. doi:10.1103/PhysRevApplied.14.024065. S2CID 210920543.
  9. ^ Pathak, Jaideep; Hunt, Brian; Girvan, Michelle; Lu, Zhixin; Ott, Edward (2018-01-12). "Model-Free Prediction of Large Spatiotemporally Chaotic Systems from Data: A Reservoir Computing Approach". Physical Review Letters. 120 (2): 024102. Bibcode:2018PhRvL.120b4102P. doi:10.1103/PhysRevLett.120.024102. PMID 29376715.
  10. ^ Vlachas, P.R.; Pathak, J.; Hunt, B.R.; Sapsis, T.P.; Girvan, M.; Ott, E.; Koumoutsakos, P. (2020-03-21). "Backpropagation algorithms and Reservoir Computing in Recurrent Neural Networks for the forecasting of complex spatiotemporal dynamics". Neural Networks. 126: 191–217. arXiv:1910.05266. doi:10.1016/j.neunet.2020.02.016. ISSN 0893-6080. PMID 32248008. S2CID 211146609.
  11. ^ Krishnagopal, Sanjukta; Girvan, Michelle; Ott, Edward; Hunt, Brian R. (2020-02-01). "Separation of chaotic signals by reservoir computing". Chaos: An Interdisciplinary Journal of Nonlinear Science. 30 (2): 023123. arXiv:1910.10080. Bibcode:2020Chaos..30b3123K. doi:10.1063/1.5132766. ISSN 1054-1500. PMID 32113243. S2CID 204823815.
  12. ^ Banerjee, Amitava; Hart, Joseph D.; Roy, Rajarshi; Ott, Edward (2021-07-20). "Machine Learning Link Inference of Noisy Delay-Coupled Networks with Optoelectronic Experimental Tests". Physical Review X. 11 (3): 031014. arXiv:2010.15289. Bibcode:2021PhRvX..11c1014B. doi:10.1103/PhysRevX.11.031014.
  13. ^ a b c d Soriano, Miguel C. (2017-02-06). "Viewpoint: Reservoir Computing Speeds Up". Physics. 10. doi:10.1103/Physics.10.12.
  14. ^ 커비, 케빈 "신경 순차 학습에서 컨텍스트 역학" 플로리다 인공지능 연구 심포지엄 FLARS (1991), 66–70의 진행.
  15. ^ Gallicchio, Claudio; Micheli, Alessio (2013). "Tree Echo State Networks". Neurocomputing. 101: 319–337. doi:10.1016/j.neucom.2012.08.017. hdl:11568/158480.
  16. ^ a b Aoun, Mario Antoine; Boukadoum, Mounir (2014). "Learning algorithm and neurocomputing architecture for NDS Neurons". 2014 IEEE 13th International Conference on Cognitive Informatics and Cognitive Computing. IEEE: 126–132. doi:10.1109/icci-cc.2014.6921451. ISBN 978-1-4799-6081-1. S2CID 16026952.
  17. ^ a b Aoun, Mario Antoine; Boukadoum, Mounir (2015). "Chaotic Liquid State Machine". International Journal of Cognitive Informatics and Natural Intelligence. 9 (4): 1–20. doi:10.4018/ijcini.2015100101. ISSN 1557-3958.
  18. ^ a b Crook, Nigel (2007). "Nonlinear Transient Computation". Neurocomputing. 70 (7–9): 1167–1176. doi:10.1016/j.neucom.2006.10.148.
  19. ^ Pedrelli, Luca (2019). Deep Reservoir Computing: A Novel Class of Deep Recurrent Neural Networks (PhD thesis). Università di Pisa.
  20. ^ Gallicchio, Claudio; Micheli, Alessio; Pedrelli, Luca (2017-12-13). "Deep reservoir computing: A critical experimental analysis". Neurocomputing. 268: 87–99. doi:10.1016/j.neucom.2016.12.089. hdl:11568/851934.
  21. ^ Gallicchio, Claudio; Micheli, Alessio (2017-05-05). "Echo State Property of Deep Reservoir Computing Networks". Cognitive Computation. 9 (3): 337–350. doi:10.1007/s12559-017-9461-9. hdl:11568/851932. ISSN 1866-9956. S2CID 1077549.
  22. ^ Gallicchio, Claudio; Micheli, Alessio; Pedrelli, Luca (December 2018). "Design of deep echo state networks". Neural Networks. 108: 33–47. doi:10.1016/j.neunet.2018.08.002. hdl:11568/939082. ISSN 0893-6080. PMID 30138751. S2CID 52075702.
  23. ^ Chen, Jiayin; Nurdin, Hendra (2019-05-15). "Learning nonlinear input–output maps with dissipative quantum systems". Quantum Information Processing. 18 (7): 198. arXiv:1901.01653. Bibcode:2019QuIP...18..198C. doi:10.1007/s11128-019-2311-9. S2CID 57573677.
  24. ^ a b Nokkala, Johannes; Martínez-Peña, Rodrigo; Giorgi, Gian Luca; Parigi, Valentina; Soriano, Miguel C.; Zambrini, Roberta (2021). "Gaussian states of continuous-variable quantum systems provide universal and versatile reservoir computing". Communications Physics. 4 (1): 53. arXiv:2006.04821. Bibcode:2021CmPhy...4...53N. doi:10.1038/s42005-021-00556-w. S2CID 234355683.
  25. ^ Marković, Danijela; Grollier, Julie (2020-10-13). "Quantum Neuromorphic Computing". Applied Physics Letters. 117 (15): 150501. arXiv:2006.15111. Bibcode:2020ApPhL.117o0501M. doi:10.1063/5.0020014. S2CID 210920543.
  26. ^ Ferraro, Alessandro; Olivares, Stefano; Paris, Matteo G. A. (2005-03-31). "Gaussian states in continuous variable quantum information". arXiv:quant-ph/0503237.
  27. ^ Roslund, Jonathan; de Araújo, Renné Medeiros; Jiang, Shifeng; Fabre, Claude; Treps, Nicolas (2013-12-15). "Wavelength-multiplexed quantum networks with ultrafast frequency combs". Nature Photonics. 8 (2): 109–112. arXiv:1307.1216. doi:10.1038/nphoton.2013.340. ISSN 1749-4893. S2CID 2328402.
  28. ^ Bartlett, Stephen D.; Sanders, Barry C.; Braunstein, Samuel L.; Nemoto, Kae (2002-02-14). "Efficient Classical Simulation of Continuous Variable Quantum Information Processes". Physical Review Letters. 88 (9): 097904. arXiv:quant-ph/0109047. Bibcode:2002PhRvL..88i7904B. doi:10.1103/PhysRevLett.88.097904. PMID 11864057. S2CID 2161585.
  29. ^ Nokkala, J.; Arzani, F.; Galve, F.; Zambrini, R.; Maniscalco, S.; Piilo, J.; Treps, N.; Parigi, V. (2018-05-09). "Reconfigurable optical implementation of quantum complex networks". New Journal of Physics. 20 (5): 053024. arXiv:1708.08726. Bibcode:2018NJPh...20e3024N. doi:10.1088/1367-2630/aabc77. ISSN 1367-2630. S2CID 119091176.
  30. ^ Nielsen, Michael; Chuang, Isaac (2010), Quantum Computation and Quantum Information (2 ed.), Cambridge University Press Cambridge
  31. ^ 존 프레스킬 "NISQ 시대 이후 양적 컴퓨팅" 퀀텀 2,79 (2018)

추가 읽기