신경가스

신경가스는 인공신경망으로, 자가조직 지도에서 영감을 받아 1991년 토마스 마르티네츠와 클라우스 슐텐이 도입했다.^[1]신경가스는 형상 벡터에 기초한 최적의 데이터 표현을 찾기 위한 단순한 알고리즘이다.알고리즘은 데이터 공간 내 가스처럼 스스로를 분산시키는 적응 과정 중 형상 벡터의 역학성 때문에 "뉴럴 가스"라는 신조어를 만들었다.음성 인식,^[2] 영상 처리^[3], 패턴 인식 등 데이터 압축이나 벡터 정량화가 문제인 경우 적용한다.k-평균 군집화에 대한 강력한 수렴 대안으로 군집 분석에도 사용된다.^[4]

알고리즘.

데이터 벡터 $x$ $x$ 의 $P(x)$ 확률 분포 $P(x)$ $P(x)$ ) $P(x)$ 및 $x$ $w_{i},i=1,\cdots ,N$ 형상 벡터 $w_{i},i=1,\cdots ,N$ $w_{i},i=1,\cdots ,N$ = $w_{i},i=1,\cdots ,N$ , $w_{i},i=1,\cdots ,N$ N $w_{i}, i=1,\cdots,N$ 이 지정됨 $w_{i},i=1,\cdots ,N$

각 시간 $단계$ t $t$ 에서 $t$ $P(x)$ ) $P(x)$ 에서 무작위로 $x$ 선택한 데이터 $벡터$ x $x$ 가 표시된다 $P(x)$ .이후 주어진 데이터 벡터 $x$ $x$ 에 대한 형상 벡터의 거리 순서가 결정된다 $x$ .Let $i_{0}$ $i_{0}$ ${\$ 은 $i_{0}$ 가장 가까운 형상 벡터의 지수, $i_{1}$ 1 ${\$ 두 번째 가장 가까운 형상 벡터의 지수 $i_{1}$ , i $i_{N-1}$ - 1 ${\$ 형상 벡터의 지수 $i_{N-1}$ 중 $x$ ${\displaystystyle x$ 와 가장 먼 거리를 나타낸다.그런 다음 각 형상 벡터는 다음에 따라 조정된다.

w_{i_{k}^{t+1}=w_{t_{k}^{t}+\varepsilon \cdot e^{-k/\lambda }}\cdot(x-w_{i_{k}^}),k=0,\cdots,N-1

적응 단계 크기는 $\varepsilon$ $\varepsilon$ ${\displaystyle \varepsilon },$ $\lambda$ $\lambda$ 을(를) 근린 범위라고 한다 $\lambda$ . $\varepsilon$ $\varepsilon$ 및 $\varepsilon$ $\lambda$ $\lambda$ 은(는) $증가$ t ${\displaystytle$ t $}$ 에 따라 감소된다 $\lambda$ . 충분히 많은 적응 단계 후에 형상 벡터는 최소 표현 오류로 데이터 공간을 덮는다 $t$ ^[5]

신경 가스의 적응 단계는 비용 함수의 구배 강하로 해석할 수 있다.(온라인) k-평균 군집화에 비해, 가장 가까운 형상 벡터뿐만 아니라, 거리 순서가 증가함에 따라 스텝 크기가 감소하는 모든 형상 벡터를 적응시킴으로써 알고리즘의 훨씬 강력한 정합화를 달성할 수 있다.신경 가스 모델은 노드를 삭제하지 않으며 또한 새로운 노드를 생성하지 않는다.

변형

신경 가스 알고리즘의 일부 단점을 완화하기 위해 문헌에는 많은 변형이 존재한다.더 주목할 만한 것은 아마도 Bernd Fritzke의 신경가스 증가일 것이다.^[6] 그러나 또한 "필요할 때 성장" 네트워크와^[7] 점진적으로 증가하는 신경가스 등과 같은 더 상세한 기술도 언급해야 한다.^[8]과도한 피팅의 위험을 피하는 성능 지향적 접근법은 플라스틱 신경 가스 모델이다.^[9]

성장하는 신경가스

프리츠케는 성장하는 신경가스(GNG)를 'Hebb 유사 학습 규칙'^[6]을 이용해 위상 관계를 학습하는 증분 네트워크 모델로 설명하는데, 다만 신경가스와는 달리 시간이 흐를수록 변하는 매개변수가 없고 지속적인 학습, 즉 데이터 스트림에 대한 학습이 가능하다.GNG는 여러 영역에서 널리 사용되어 왔으며,^[10] 점차적으로 데이터를 클러스터링하는 능력을 보여 주었다.GNG는 처음에 제로 에이지 에지로 연결되고 오류가 0으로 설정된 무작위로 배치된 두 개의 노드로 초기화된다.GNG 입력 데이터는 순차적으로 제시되므로, 각 반복마다 다음 단계를 따른다.

현재 입력 데이터에 가장 가까운 두 노드 사이의 오류(간격)를 계산한다.
위너 노드(가장 가까운 노드만)의 오류가 각각 누적된다.
위너 노드와 위상적 인접 노드(가장자리로 연결됨)는 각 오류의 다른 분수에 의해 현재 입력 쪽으로 이동하고 있다.
위너 노드에 연결된 모든 가장자리의 나이가 증가한다.
승자 노드와 2위 노드가 에지로 연결되면 그러한 에지는 0으로 설정된다.그렇지 않으면 그들 사이에 가장자리가 생긴다.
임계값보다 큰 연령을 가진 가장자리가 있으면 제거된다.연결이 없는 노드는 제거된다.
현재 반복이 사전 정의된 주파수 생성 임계값의 정수 배수인 경우, 가장 큰 오류(모두 중)가 있는 노드와 가장 높은 오류를 나타내는 위상학적 인접 노드 사이에 새 노드를 삽입한다.전자와 후자 노드 사이의 링크가 제거되고(주어진 인자에 의해 오류가 감소한다) 새 노드가 두 노드 모두에 연결된다.새 노드의 오류는 가장 큰 오류(전체 오류 중)를 가진 노드의 업데이트된 오류로 초기화된다.
모든 노드의 누적 오차는 주어진 요인만큼 감소한다.
정지 기준이 충족되지 않으면 알고리즘은 다음과 같은 입력을 취한다.기준은 주어진 에폭 수, 즉 모든 데이터가 표시되는 사전 설정된 횟수 또는 최대 노드 수 도달이 될 수 있다.

증분성장 신경가스

GNG 알고리즘에서 영감을 받은 또 다른 신경가스 변종은 증분성장 신경가스(IGNG)이다.저자들은 이 알고리즘의 주요 이점은 "기존에 훈련된 네트워크를 저하시키지 않고 새로운 데이터(플라스틱성)를 학습하고 기존의 입력 데이터(안정성)를 망각하지 않는 것"이라고 제안한다."^[8]

필요한 경우 증가

GNG 알고리즘에 의해 구현된 것과 같이 노드 집합이 증가하는 네트워크를 갖는 것은 큰 장점으로 보였지만, 이 파라미터의 반복이 이 파라미터의 배수일 때에만 네트워크가 성장할 수 있는 파라미터 introduction의 도입으로 학습의 일부 한계가 보였다.^[7]이 문제를 완화하기 위한 제안은 새로운 알고리즘인 GWR(Growing When Required network)으로, 기존 노드가 입력을 충분히 설명하지 못할 것으로 확인될 때마다 가능한 한 빨리 노드를 추가하여 네트워크를 더욱 빠르게 성장시킬 수 있었다.

플라스틱신경가스

네트워크만 확장할 수 있는 능력은 빠르게 오버피팅을 도입할 수 있다. 반면에 GNG 모델에서와 같이 연령에 근거하여 노드를 제거하는 것은 입력 데이터 스트림의 "메모리 길이"에 신중하게 조정되어야 하는 모델 파라미터에 따라 제거된 노드가 실제로 쓸모없다는 것을 보장하지 않는다.

"플라스틱 신경가스" 모델은^[9] 감독되지 않은 설정에 대해 동등한 개념의 "일반화 능력"을 제어하는 감독되지 않은 버전의 교차 검증을 사용하여 노드를 추가하거나 제거하기로 결정함으로써 이 문제를 해결한다.

구현

기능 벡터의 순위 $i_{0},i_{1},\ldots ,i_{N-1}$ $i_{0},i_{1},\ldots ,i_{N-1}$ $i_{0},i_{1},\ldots ,i_{N-1}$ , $i_{0},i_{1},\ldots ,i_{N-1}$ $i_{0},i_{1},\ldots ,i_{N-1}$ … , $i_{0},i_{1},\ldots ,i_{N-1}$ - $i_{0},i_{1},\ldots ,i_{N-1}$ ${\$ 을 찾기 위해 신경가스 알고리즘은 분류를 포함하는데, 이는 아날로그 하드웨어에서 병렬화 또는 구현에 쉽게 도움이 되지 않는 절차다.그러나 병렬 소프트웨어와 아날로그 하드웨어^[12] 모두에서 구현이 실제로 설계되었다.

참조

^ Thomas Martinetz and Klaus Schulten (1991). "A "neural gas" network learns topologies" (PDF). Artificial Neural Networks. Elsevier. pp. 397–402.
^ F. Curatelli and O. Mayora-Iberra (2000). "Competitive learning methods for efficient Vector Quantizations in a speech recognition environment". In Osvaldo Cairó; L. Enrique Sucar; Francisco J. Cantú-Ortiz (eds.). MICAI 2000: Advances in artificial intelligence : Mexican International Conference on Artificial Intelligence, Acapulco, Mexico, April 2000 : proceedings. Springer. p. 109. ISBN 978-3-540-67354-5.{{cite conference}}: CS1 maint: 작성자 매개변수 사용(링크)
^ Angelopoulou, Anastassia and Psarrou, Alexandra and Garcia Rodriguez, Jose and Revett, Kenneth (2005). "Automatic landmarking of 2D medical shapes using the growing neural gas network". In Yanxi Liu; Tianzi Jiang; Changshui Zhang (eds.). Computer vision for biomedical image applications: first international workshop, CVBIA 2005, Beijing, China, October 21, 2005 : proceedings. Springer. p. 210. doi:10.1007/11569541_22. ISBN 978-3-540-29411-5.{{cite conference}}: CS1 maint: 작성자 매개변수 사용(링크)
^ Fernando Canales and Max Chacon (2007). "Modification of the growing neural gas algorithm for cluster analysis". In Luis Rueda; Domingo Mery (eds.). Progress in pattern recognition, image analysis and applications: 12th Iberoamerican Congress on Pattern Recognition, CIARP 2007, Viña del Mar-Valparaiso, Chile, November 13–16, 2007 ; proceedings. Springer. pp. 684–693. doi:10.1007/978-3-540-76725-1_71. ISBN 978-3-540-76724-4.{{cite conference}}: CS1 maint: 작성자 매개변수 사용(링크)
^ http://wwwold.ini.rub.de/VDM/research/gsn/JavaPaper/img187.gif^{[데드링크]}
^ ^a ^b Fritzke, Bernd (1995). "A Growing Neural Gas Network Learns Topologies". Advances in Neural Information Processing Systems. 7: 625–632. Retrieved 2016-04-26.
^ ^a ^b Marsland, Stephen; Shapiro, Jonathan; Nehmzow, Ulrich (2002). "A self-organising network that grows when required". Neural Networks. 15 (8): 1041–1058. CiteSeerX 10.1.1.14.8763. doi:10.1016/s0893-6080(02)00078-3. PMID 12416693.
^ ^a ^b Prudent, Yann; Ennaji, Abdellatif (2005). An incremental growing neural gas learns topologies. Neural Networks, 2005. IJCNN'05. Proceedings. 2005 IEEE International Joint Conference on. Vol. 2. pp. 1211–1216. doi:10.1109/IJCNN.2005.1556026. ISBN 978-0-7803-9048-5. S2CID 41517545.
^ ^a ^b Ridella, Sandro; Rovetta, Stefano; Zunino, Rodolfo (1998). "Plastic algorithm for adaptive vector quantisation". Neural Computing & Applications. 7: 37–51. doi:10.1007/BF01413708. S2CID 1184174.
^ Iqbal, Hafsa; Campo, Damian; Baydoun, Mohamad; Marcenaro, Lucio; Martin, David; Regazzoni, Carlo (2019). "Clustering Optimization for Abnormality Detection in Semi-Autonomous Systems". St International Workshop on Multimodal Understanding and Learning for Embodied Applications: 33–41. doi:10.1145/3347450.3357657. ISBN 9781450369183.
^ Ancona, Fabio; Rovetta, Stefano; Zunino, Rodolfo (1996). "A parallel approach to plastic neural gas". Proceedings of International Conference on Neural Networks (ICNN'96). 1: 126–130. doi:10.1109/ICNN.1996.548878. ISBN 0-7803-3210-5. S2CID 61686854.
^ Ancona, Fabio; Rovetta, Stefano; Zunino, Rodolfo (1997). "Hardware implementation of the neural gas". Proceedings of International Conference on Neural Networks (ICNN'97). 2: 991–994. doi:10.1109/ICNN.1997.616161. ISBN 0-7803-4122-8. S2CID 62480597.

추가 읽기

T. 마르티네츠, S. 베르코비치, K.슐텐.벡터 정량화를 위한 "Neural-gas" 네트워크와 시계열 예측을 위한 응용 프로그램.IEEE-신경망에서의 거래, 4:558-569, 1993.
Martinetz, T.; Schulten, K. (1994). "Topology representing networks". Neural Networks. 7 (3): 507–522. doi:10.1016/0893-6080(94)90109-0.

외부 링크

DemoGNG.js 신경 가스용 Javascript 시뮬레이터(및 기타 네트워크 모델)
Java Competitive Learning Applications Java의 무감독 신경 네트워크(Self-organizing Map 포함) 소스 코드.
신경 가스 알고리즘의 공식 설명
Matlab에서 GNG 및 GWR 분류기 구현

[1] Thomas Martinetz and Klaus Schulten (1991). "A "neural gas" network learns topologies" (PDF). Artificial Neural Networks. Elsevier. pp. 397–402.

[2] F. Curatelli and O. Mayora-Iberra (2000). "Competitive learning methods for efficient Vector Quantizations in a speech recognition environment". In Osvaldo Cairó; L. Enrique Sucar; Francisco J. Cantú-Ortiz (eds.). MICAI 2000: Advances in artificial intelligence : Mexican International Conference on Artificial Intelligence, Acapulco, Mexico, April 2000 : proceedings. Springer. p. 109. ISBN 978-3-540-67354-5.{{cite conference}}: CS1 maint: 작성자 매개변수 사용(링크)

[3] Angelopoulou, Anastassia and Psarrou, Alexandra and Garcia Rodriguez, Jose and Revett, Kenneth (2005). "Automatic landmarking of 2D medical shapes using the growing neural gas network". In Yanxi Liu; Tianzi Jiang; Changshui Zhang (eds.). Computer vision for biomedical image applications: first international workshop, CVBIA 2005, Beijing, China, October 21, 2005 : proceedings. Springer. p. 210. doi:10.1007/11569541_22. ISBN 978-3-540-29411-5.{{cite conference}}: CS1 maint: 작성자 매개변수 사용(링크)

[4] Fernando Canales and Max Chacon (2007). "Modification of the growing neural gas algorithm for cluster analysis". In Luis Rueda; Domingo Mery (eds.). Progress in pattern recognition, image analysis and applications: 12th Iberoamerican Congress on Pattern Recognition, CIARP 2007, Viña del Mar-Valparaiso, Chile, November 13–16, 2007 ; proceedings. Springer. pp. 684–693. doi:10.1007/978-3-540-76725-1_71. ISBN 978-3-540-76724-4.{{cite conference}}: CS1 maint: 작성자 매개변수 사용(링크)

[5] ttp://wwwold.ini.rub.de/VDM/research/gsn/JavaPaper/img187.gif^{[데드링크]}

[:0-6] Fritzke, Bernd (1995). "A Growing Neural Gas Network Learns Topologies". Advances in Neural Information Processing Systems. 7: 625–632. Retrieved 2016-04-26.

[:1-7] Marsland, Stephen; Shapiro, Jonathan; Nehmzow, Ulrich (2002). "A self-organising network that grows when required". Neural Networks. 15 (8): 1041–1058. CiteSeerX 10.1.1.14.8763. doi:10.1016/s0893-6080(02)00078-3. PMID 12416693.

[:2-8] Prudent, Yann; Ennaji, Abdellatif (2005). An incremental growing neural gas learns topologies. Neural Networks, 2005. IJCNN'05. Proceedings. 2005 IEEE International Joint Conference on. Vol. 2. pp. 1211–1216. doi:10.1109/IJCNN.2005.1556026. ISBN 978-0-7803-9048-5. S2CID 41517545.

[pgas-9] Ridella, Sandro; Rovetta, Stefano; Zunino, Rodolfo (1998). "Plastic algorithm for adaptive vector quantisation". Neural Computing & Applications. 7: 37–51. doi:10.1007/BF01413708. S2CID 1184174.

[10] Iqbal, Hafsa; Campo, Damian; Baydoun, Mohamad; Marcenaro, Lucio; Martin, David; Regazzoni, Carlo (2019). "Clustering Optimization for Abnormality Detection in Semi-Autonomous Systems". St International Workshop on Multimodal Understanding and Learning for Embodied Applications: 33–41. doi:10.1145/3347450.3357657. ISBN 9781450369183.

[11] Ancona, Fabio; Rovetta, Stefano; Zunino, Rodolfo (1996). "A parallel approach to plastic neural gas". Proceedings of International Conference on Neural Networks (ICNN'96). 1: 126–130. doi:10.1109/ICNN.1996.548878. ISBN 0-7803-3210-5. S2CID 61686854.

[12] Ancona, Fabio; Rovetta, Stefano; Zunino, Rodolfo (1997). "Hardware implementation of the neural gas". Proceedings of International Conference on Neural Networks (ICNN'97). 2: 991–994. doi:10.1109/ICNN.1997.616161. ISBN 0-7803-4122-8. S2CID 62480597.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[12]

Search