융접적응공명론

퓨전 적응 공명 이론(Fusion Adaptive Resonance Theory, Fusion ^[1]^[2]ART)은 여러 패턴 채널에 걸쳐 인식 범주(또는 인지 코드)를 학습하기 위한 원래 적응 공명^[3] 이론 모델로 알려진 자기 조직적 신경 네트워크의 일반화입니다.퓨전 ARMAP에 ^[4]^[5]대한 별도의 작업 흐름이 있으며, 이는 ART 간 맵 필드에 의해 연결된 두 개의 퍼지 ARMAP으로 구성된 퍼지 ARMAP을 여러 ART 모듈로 구성된 확장 아키텍처로 확장합니다.

Fusion ART는 많은 신경 모델 설계를 통합하고 무수한 학습 패러다임을 지원하며, 특히 비지도 학습, 감독 학습, 강화 학습, 멀티모달 학습 및 시퀀스 학습을 지원합니다.또한, 도메인 지식 통합,^[6] 메모리 ^[7]^[8]표현 및 높은 수준의 인지 모델링에 대한 다양한 확장이 개발되었습니다.

개요

Fusion ART는 Stephen Grossberg와 Gail A에 의해 개발된 원래의 적응 공명 이론(ART)^[3]^[9] 모델의 자연스러운 확장입니다. 단일 패턴 필드에서 여러 패턴 채널로 목수.원본 ART 모델이 들어오는 입력 패턴에 대응하여 인식 노드의 비감독 학습을 수행하는 반면, 퓨전 ART는 온라인 및 증분 방식으로 다중 모드 패턴 채널에 걸쳐 다중 채널 매핑을 동시에 학습한다.

학습 모델

Fusion ART는 멀티채널 아키텍처(아래 그림 참조)를 채택하고 있습니다.이 아키텍처는 (K) 패턴 채널 또는 입력 $F_{1}^{c1},\dots ,F_{1}^{cK}$ $F_{1}^{c1},\dots ,F_{1}^{cK}$ $F_{1}^{c1},\dots ,F_{1}^{cK}$ $F_{1}^{c1},\dots ,F_{1}^{cK}$ $(\$ }^{ $c1},\dots, F_{1$ }^{ $k})$ 의 $F_{1}^{c1},\dots ,F_{1}^{cK}$ 일정 수의 쌍방향 경로를 통해 연결된 카테고리 $F_{2}$ $(\$ F_{1 $}^{k$ })로 $F_{2}$ 구성됩니다.이 모델은 다양한 기능과 애플리케이션을 위해 지난 수십 년 동안 개발된 적응 공명 이론(ARM), 적응 공명 관련 맵(ALAM)^[10] 및 Fusion Architecture for Learning and COgNition(FALCON)^[11] 등 다수의 네트워크 설계를 통합합니다.

패턴 채널에 각각 표시되는 일련의 멀티모달패턴이 주어지면 퓨전 ART패턴 부호화 사이클은 코드 액티베이션, 코드 경합, 액티비티 읽기, 템플릿 매칭 및 템플릿 학습의 5가지 주요 단계는 다음과 같습니다.

코드 활성화 : 입력 활동 ${\vec {I}}^{ck}$ I ${\vec {I}}^{ck}$ ${\vec {I}}^{ck}$ k ${\$ { $ck$ {\ $displaystyle F_{1$ } { $ck$ 각 $F_{2}$ $F_{1}^{ck}$ $F_{2}$ $F_{1}^{ck}$ $F_{1}^{ck}$ {\displaystyle $F_$ {ck}} {\ $displaystyle$ F_ ${ck$ }}} {\ck}} {\displaystyle} node의 선택 $T_{j}$ $T_{j}$ { $j}$ 를 $T_{j}$ 조합하여 전체적으로 계산한다.입력 패턴과 대응하는 무게 ${\vec {w}}_{j}^{ck}$ w ${\vec {w}}_{j}^{ck}$ ${\vec {w}}_{j}^{ck}$ ${\vec {w}}_{j}^{ck}$ ${\vec {w}}_{j}^{ck}$ { ${\vec {w}}_{j}^{ck}$ { $w$ } $_$ { $j$ }^{ $ck$ 。
코드 경쟁:코드 경합 프로세스는 $({$ 2 $F_{2}$ }}) $F_{2}$ 의 선택 함수가 가장 높은 노드를 식별하기 위한 것입니다.우승자는 J에서 인덱싱됩니다. 여기서 $T_{j}$ $T_{j}$ ${\$ 는 $T_{j}$ $F_{2}$ $F_{2}$ {\ $displaystyle F_{2}}$ 노드 $F_{2}$ 중 최대값입니다.이는 승자독식 전략을 나타낸다.
액티비티 읽기:메모리 호출 중 $F_{2}$ 된 $({$ 노드 $F_{2}$ J는 무게 벡터를 입력 $F_{1}^{ck}$ $F_{1}^{ck}$ $({$ 로 읽어냅니다.
템플릿 매칭: 액티비티 판독값이 안정되어 노드 J를 학습에 사용할 수 있게 되기 전에 템플릿 매칭 프로세스는 노드 J의 가중치 템플릿이 각각의 입력 패턴에 충분히 가까운지 확인합니다.구체적으로는 각 채널 k에 대해 선택된 노드 J의 일치 함수가 경계 기준을 충족하면 공명이 발생합니다.어느 하나의 경계조건을 위반했을 경우, 미스매치 리셋이 발생합니다.그 결과, 선택 $T_{J}$ $(\$ 의 $T_{J}$ 값은 입력 프레젠테이션 기간 동안 0으로 설정됩니다.매치 트래킹프로세스를 사용하여 각 입력 프레젠테이션의 선두에서 각 채널 ck의 경계 파라미터는 기준 경계와 같습니다.미스매치가 리셋되면 모든 패턴채널의 경계성이 동시에 높아져 어느 한쪽이 대응하는 일치함수보다 약간 커지기 때문에 리셋이 발생합니다.그런 다음 검색 프로세스는 공명이 달성될 때까지 수정된 경계 기준에 따라 또 $F_{2}$ F2 $({$ 2}}) 노드 $F_{2}$ J를 선택합니다.
템플릿 학습:공진이 발생하면 각 채널 ck에 대해 중량 ${\vec {w}}_{J}^{ck}$ w ${\vec {w}}_{J}^{ck}$ ${\vec {w}}_{J}^{ck}$ ${\vec {w}}_{J}^{ck}$ ${\vec {w}}_{J}^{ck}$ {\ $displaystyle {w}}_{J$ }^{ck $}}$ 가 입력 패턴으로 이동하는 학습 규칙에 따라 수정된다.커밋되지 않은 노드가 학습용으로 선택되면 커밋되고 새로운 커밋되지 않은 노드가 $F_{2}$ 2 $F_{2}$ {\ $display style$ F_ ${2}}$ $F_{2}$ 에 $F_{2}$ 추가됩니다.따라서 Fusion ART는 입력 패턴에 따라 네트워크 아키텍처를 동적으로 확장합니다.

퓨전 ART의 종류

위에서 설명한 네트워크 다이내믹스를 사용하여 다양한 학습 조작을 지원할 수 있습니다.Fusion ART가 전통적으로 구별되는 다양한 학습 작업에 어떻게 사용될 수 있는지 다음 섹션에서 설명합니다.

오리지널 ART 모델

단일 패턴 채널을 통해 퓨전 ART 아키텍처는 원래 ART 모델로 축소됩니다.ART 모델은 선택된 경계치 θ를 이용하여 입력 패턴의 유입 스트림에 응답하여 일련의 인식 노드를 연속적으로 학습한다. $(\$ $F_{2}$ 의 $F_{2}$ 각 인식 노드는 패턴 세트의 주요 특성을 나타내는 템플릿 패턴을 인코딩하는 방법을 학습합니다.ART는 패턴 그룹화를 발견하기 위해 감독되지 않은 학습의 맥락에서 널리 사용되어 왔다.

적응 공진 관련 지도

퓨전 ART는 여러 패턴채널에 걸쳐 패턴코딩을 동기화함으로써 다른 패턴공간에 관련지을 수 있는 매핑 부호화를 학습합니다.2개의 패턴 채널을 가진 퓨전 ART의 특정 인스턴스는 적응형 공명 연상 맵(ARAM)으로 알려져 있으며, 이 맵은 하나의 패턴 공간에서 다른 패턴 공간으로 다차원적으로 감독되는 매핑을 학습합니다.ARAM 시스템은 입력 $F_{1}^{a}$ $F_{1}^{a}$ a $(\$ $}),$ 출력 $F_{1}^{b}$ $F_{1}^{b}$ b(\ $displaystyle F_{1$ }^{ $b$ $F_{1}^{b}$ 및 카테고리 $F_{2}$ $(\$ $displaystyle F_{2}})$ 로 $F_{1}^{a}$ 구성됩니다. $F_{1}^{a}$ 에 $F_{1}^{a}$ 되는 특징 벡터 세트는 대응하는 클래스를 가집니다. $F_{1}^{b}$ b $({$ $displaystyle$ $F_{1$ }^{ $b$ 에서 ARAM은 주요 특징의 조합을 각각의 클래스에 연관짓는 예측 모델( $F2의$ 노드에 의해 인코딩됨)을 학습한다.

퍼지 ART 연산을 기반으로 한 퍼지 아람은 ^[12]개인 프로파일링,^[13] 문서 분류, 개인화된 콘텐츠 ^[14]관리 및 DNA 유전자 발현 ^[15]분석을 포함한 수많은 기계 학습 작업에 성공적으로 적용되었습니다.많은 벤치마크 실험에서, ARAM은 C4.5, 역전파 신경 네트워크, K Nearest Neural Network, Support Vector Machines를 포함한 많은 최첨단 기계 학습 시스템의 예측 성능을 입증했다.

도메인 지식을 갖춘 Fusion ART

학습 중에 Fusion ART는 여러 채널에 걸쳐 입력 패턴의 인식 범주를 형성합니다.Fusion ART가 학습 중에 발견한 지식은 상징적인 규칙 기반 표현과 호환됩니다. $F_{2}$ F2 $(\$ $F_{2}$ 노드에 의해 학습된 인식 카테고리는 한 패턴 채널의 입력 속성 세트(안테란트)를 다른 채널의 서로 다른 출력 속성 세트(결과)에 매핑하는 IF-THEN 규칙 클래스와 호환됩니다.이러한 호환성으로 인해 증분 학습 과정의 어느 지점에서든 IF-THEN 규칙 형식의 지침을 Fusion ART 시스템의 인식 범주로 쉽게 번역할 수 있다.규칙은 IF 절과 THEN 절의 속성이 AND 관계를 갖는다는 점에서 결합적입니다.명시적 지침을 통해 도메인 지식으로 Fusion ART 네트워크를 강화하면 학습 효율성과 예측 정확도가 향상됩니다.

Fusion ART 규칙 삽입 전략은 도메인 지식 삽입, 정제 ^[16]및 추출을 수행하는 ARTMAP의 일반화인 Cascade ARTMAP에서 사용되는 것과 유사합니다.직접 지식 삽입을 위해 각 명령(규칙)의 IF 및 THEN 절을 각각 벡터 A 및 B의 쌍으로 변환한다.도출된 벡터 쌍은 퓨전 ART 네트워크에 삽입하기 위한 훈련 패턴으로 사용됩니다.규칙 삽입 시 각 고유 규칙이 1개의 카테고리노드로 부호화되도록 하기 위해 경계 파라미터는 1s로 설정됩니다.

학습과 인식을 위한 퓨전 아키텍처(FALcon)

강화학습은 자율시스템이 환경으로부터 받은 강화신호를 바탕으로 동작을 조정하는 것을 학습하는 패러다임이다.FALCON(학습 및 인식을 위한 융합 아키텍처)으로 알려진 퓨전 ART의 인스턴스는 상태, 동작 및 보상을 포함하는 다중 모드 입력 패턴 간에 매핑을 온라인 및 증분 방식으로 동시에 학습합니다.다른 ART 기반 강화학습 시스템과 비교하여 FALKON은 별도의 강화학습 모듈이나 Q-value table을 구현하지 않는다는 점에서 진정한 통합 솔루션을 제시합니다.경쟁 코딩을 계산의 기본 원리로 사용하여 네트워크 다이내믹스는 비지도 학습, 감독 학습 및 강화 학습을 포함한 여러 학습 패러다임을 포함한다.

FALCON은 카테고리 $F_{2}$ $(\$ 와 $F_{2}$ 현재 상태를 나타내는 센스 필드 $F_{1}^{c1}$ $(\$ }^{ $c1$ 과 액션을 $F_{1}^{c2}$ $F_{1}^{c2}$ $F_{1}^{c2}$ $F_{1}^{c2}$ (\ $display F_{1}^$ c2 $F_{1}^{c2}$ })와 피드백 FIELCON의 3가지 채널 아키텍처를 채택하고 있습니다. $F_{1}^{c3}$ F $F_{1}^{c3}$ $F_{1}^{c3}$ $F_{1}^{c3}$ ({ $displaystyle F_{1}^{c3})$ 보상 $F_{1}^{c3}$ 값을 나타냅니다.TD-FALCON이라고 불리는 FALCON 네트워크의 클래스에는 Temporal Difference(TD; 시간차이) 메서드가 포함되어 있으며, 값 함수 Q(s,a)를 예측하고 학습합니다.이러한 메서드는 특정 상태에서 특정 액션을 실행하는 것의 장점을 나타냅니다.

TD-FALcon의 일반적인 sense-act-learn 알고리즘은 다음과 같습니다.현재 상태에서 FALCON 네트워크는 대응하는 상태 ${\vec {s}}$ s $→$ {\ $displaystyle {s}}$ 및 ${\vec {s}}$ 동작 ${\vec {a}}$ a $→$ {\ $displaystyle {a$ 에 기초하여 동작 세트 A에서 사용 가능한 각 동작 a의 값을 예측하는 데 사용됩니다.그런 다음 값 함수는 액션 선택 전략(정책이라고도 함)에 의해 처리되어 액션을 선택합니다.액션을 수행한 후 환경으로부터 피드백을 받으면 TD 공식을 사용하여 현재 상태에서 선택된 액션을 수행하기 위한 Q-값의 새로운 추정치를 계산합니다.그런 다음 새로운 Q-값을 FALCON의 티칭 신호(보상 벡터 R로 표시됨)로 사용하여 현재 상태와 선택된 액션을 추정 값에 대한 연관성을 학습합니다.

레퍼런스

^ Tan, A.-H., Carpenter, G.A. & Grossberg, S. (2007) 상호작용을 통한 인텔리전스: 통합 학습이론을 향해.절차에서는 D. 류 외(Eds): 신경망에 관한 국제 심포지엄(ISNN'07), LNCS 4491, 파트 I, 페이지 1098-1107.
^ Tan, A.-H.; Subagdja, B.; Wang, D.; Meng, L. (2019). "Self-organizing neural networks for universal learning and multimodal memory encoding". Neural Networks. 120: 58–73. doi:10.1016/j.neunet.2019.08.020.
^ ^a ^b Carpenter, G.A. & Grossberg, S. (2003), 적응 공명 이론 2006-05-19년 마이클 A. 웨이백 머신에서 아카이브. Arbib(Ed.), 뇌 이론 및 신경 네트워크 핸드북, 제2판(87-90페이지)케임브리지, 매사추세츠: MIT 프레스
^ Y.R. Asfour, G.A. Carpenter, S. Grossberg 및 G.W. Lesher.(1993) Fusion ARMAP: 다중 채널 분류를 위한 적응형 퍼지 네트워크.제3회 산업 퍼지 제어 및 인텔리전트 시스템에 관한 국제 회의(IFIS)의 진행.
^ R.F. 해리슨과 J.M. 보르게스.(1995) Fusion ARMAP: 명확화, 구현 및 개발.연구 보고서 No. 589, 셰필드 대학교 자동 제어 및 시스템 공학부.
^ Teng, T.-H.; Tan, A.-H.; Zurada, J. M. (2015). "Self-Organizing Neural Networks Integrating Domain Knowledge and Reinforcement Learning". IEEE Transactions on Neural Networks and Learning Systems. 26 (5): 889–902. doi:10.1109/TNNLS.2014.2327636. ISSN 2162-237X.
^ Wang, W.; Subagdja, B.; Tan, A.-H.; Starzyk, J. A. (2012). "Neural Modeling of Episodic Memory: Encoding, Retrieval, and Forgetting". IEEE Transactions on Neural Networks and Learning Systems. 23 (10): 1574–1586. doi:10.1109/TNNLS.2012.2208477. ISSN 2162-237X.
^ Wang, W.; Tan, A.-H.; Teow, L.-N. (2017). "Semantic Memory Modeling and Memory Interaction in Learning Agents". IEEE Transactions on Systems, Man, and Cybernetics: Systems. 47 (11): 2882–2895. doi:10.1109/TSMC.2016.2531683. ISSN 2168-2216.
^ Grossberg, S.(1987), 경쟁력 학습:인터랙티브 활성화에서 적응 공명으로, 인지 과학(출판), 11, 23-63
^ Tan, A.-H. (1995). "Adaptive Resonance Associative Map" (PDF). Neural Networks. 8 (3): 437–446. doi:10.1016/0893-6080(94)00092-z.
^ ^a ^b Tan, A.-H., Lu, N.; Xiao, D (2008). "Integrating Temporal Difference Methods and Self-Organizing Neural Networks for Reinforcement Learning with Delayed Evaluative Feedback" (PDF). IEEE Transactions on Neural Networks. 9 (2): 230–244.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)
^ Tan, A.-H.; Soon, H.-S. (2000). "Predictive Adaptive Resonance Theory and Knowledge Discovery in Databases". Proceedings, Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD'00), LNAI. 1805: 173–176.
^ He, J.; Tan, A.-H.; Tan, C.-L. (2003). "On Machine Learning Methods for Chinese Document Classification" (PDF). Applied Intelligence. 18 (3): 311–322. doi:10.1023/A:1023202221875. S2CID 2033181.
^ Tan, A.-H.; Ong, H.-L.; Pan, H.; Ng, J.; Li, Q.-X. (2004). "Towards Personalized Web Intelligence" (PDF). Knowledge and Information Systems. 6 (5): 595–616. doi:10.1007/s10115-003-0130-9. S2CID 14699173.
^ Tan, A.-H.; Pan (2005). "Predictive Neural Networks for Gene Expression Data Analysis" (PDF). Neural Networks. 18 (3): 297–306. doi:10.1016/j.neunet.2005.01.003. PMID 15896577.
^ Tan, A.-H. (1997). "Cascade ARTMAP: Integrating Neural Computation and Symbolic Knowledge Processing" (PDF). IEEE Transactions on Neural Networks. 8 (2): 237–250. doi:10.1109/72.557661. PMID 18255628.

[1] Tan, A.-H., Carpenter, G.A. & Grossberg, S. (2007) 상호작용을 통한 인텔리전스: 통합 학습이론을 향해.절차에서는 D. 류 외(Eds): 신경망에 관한 국제 심포지엄(ISNN'07), LNCS 4491, 파트 I, 페이지 1098-1107.

[2] Tan, A.-H.; Subagdja, B.; Wang, D.; Meng, L. (2019). "Self-organizing neural networks for universal learning and multimodal memory encoding". Neural Networks. 120: 58–73. doi:10.1016/j.neunet.2019.08.020.

[:1-3] Carpenter, G.A. & Grossberg, S. (2003), 적응 공명 이론 2006-05-19년 마이클 A. 웨이백 머신에서 아카이브. Arbib(Ed.), 뇌 이론 및 신경 네트워크 핸드북, 제2판(87-90페이지)케임브리지, 매사추세츠: MIT 프레스

[FusionARTMAP1-4] Y.R. Asfour, G.A. Carpenter, S. Grossberg 및 G.W. Lesher.(1993) Fusion ARMAP: 다중 채널 분류를 위한 적응형 퍼지 네트워크.제3회 산업 퍼지 제어 및 인텔리전트 시스템에 관한 국제 회의(IFIS)의 진행.

[FusionARTMAP2-5] R.F. 해리슨과 J.M. 보르게스.(1995) Fusion ARMAP: 명확화, 구현 및 개발.연구 보고서 No. 589, 셰필드 대학교 자동 제어 및 시스템 공학부.

[6] Teng, T.-H.; Tan, A.-H.; Zurada, J. M. (2015). "Self-Organizing Neural Networks Integrating Domain Knowledge and Reinforcement Learning". IEEE Transactions on Neural Networks and Learning Systems. 26 (5): 889–902. doi:10.1109/TNNLS.2014.2327636. ISSN 2162-237X.

[7] Wang, W.; Subagdja, B.; Tan, A.-H.; Starzyk, J. A. (2012). "Neural Modeling of Episodic Memory: Encoding, Retrieval, and Forgetting". IEEE Transactions on Neural Networks and Learning Systems. 23 (10): 1574–1586. doi:10.1109/TNNLS.2012.2208477. ISSN 2162-237X.

[8] Wang, W.; Tan, A.-H.; Teow, L.-N. (2017). "Semantic Memory Modeling and Memory Interaction in Learning Agents". IEEE Transactions on Systems, Man, and Cybernetics: Systems. 47 (11): 2882–2895. doi:10.1109/TSMC.2016.2531683. ISSN 2168-2216.

[:3-9] Grossberg, S.(1987), 경쟁력 학습:인터랙티브 활성화에서 적응 공명으로, 인지 과학(출판), 11, 23-63

[:0-10] Tan, A.-H. (1995). "Adaptive Resonance Associative Map" (PDF). Neural Networks. 8 (3): 437–446. doi:10.1016/0893-6080(94)00092-z.

[:2-11] Tan, A.-H., Lu, N.; Xiao, D (2008). "Integrating Temporal Difference Methods and Self-Organizing Neural Networks for Reinforcement Learning with Delayed Evaluative Feedback" (PDF). IEEE Transactions on Neural Networks. 9 (2): 230–244.{{cite journal}}: CS1 maint: 여러 이름: 작성자 목록(링크)

[12] Tan, A.-H.; Soon, H.-S. (2000). "Predictive Adaptive Resonance Theory and Knowledge Discovery in Databases". Proceedings, Pacific-Asia Conference on Knowledge Discovery and Data Mining (PAKDD'00), LNAI. 1805: 173–176.

[13] He, J.; Tan, A.-H.; Tan, C.-L. (2003). "On Machine Learning Methods for Chinese Document Classification" (PDF). Applied Intelligence. 18 (3): 311–322. doi:10.1023/A:1023202221875. S2CID 2033181.

[14] Tan, A.-H.; Ong, H.-L.; Pan, H.; Ng, J.; Li, Q.-X. (2004). "Towards Personalized Web Intelligence" (PDF). Knowledge and Information Systems. 6 (5): 595–616. doi:10.1007/s10115-003-0130-9. S2CID 14699173.

[15] Tan, A.-H.; Pan (2005). "Predictive Neural Networks for Gene Expression Data Analysis" (PDF). Neural Networks. 18 (3): 297–306. doi:10.1016/j.neunet.2005.01.003. PMID 15896577.

[16] Tan, A.-H. (1997). "Cascade ARTMAP: Integrating Neural Computation and Symbolic Knowledge Processing" (PDF). IEEE Transactions on Neural Networks. 8 (2): 237–250. doi:10.1109/72.557661. PMID 18255628.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

Search