어트랙터 네트워크

어트랙터 네트워크는 시간이 지남에 따라 안정된 패턴으로 발전하는 반복적인 동적 네트워크의 일종입니다.어트랙터 네트워크의 노드는 고정점(단일 상태), 주기적(정기적으로 반복되는 상태), 카오스(로컬하지만 글로벌하게 불안정하지 않음) 또는 랜덤(스톡스틱)^[1] 중 하나의 패턴으로 수렴됩니다.유인기 네트워크는 생물학적으로 영감을 받은 기계 학습 방법뿐만 아니라 연상 기억^[2] 및 운동 행동과 같은 신경 프로세스를 모델링하기 위해 컴퓨터 신경 과학에서 주로 사용되어 왔다.어트랙터 네트워크는 n>d인 d차원 공간에서의 벡터로서 나타낼 수 있는 n개의 노드 세트를 포함한다.시간이 지남에 따라 네트워크 상태는 d-manifold의 사전 정의된 상태 중 하나가 되는 경향이 있습니다.이러한 상태가 어트랙터입니다.

개요

어트랙터 네트워크에서 어트랙터(또는 어트랙터 세트)는 노드 시스템이 진화하는 상태 A의 닫힌 서브셋입니다.고정 어트랙터란 네트워크의 글로벌 다이내믹스가 안정되는 상태를 말합니다.사이클릭 어트랙터는 네트워크를 제한 사이클로 일련의 상태를 향해 진화시킵니다.제한 사이클은 반복하여 통과됩니다.카오스 어트랙터는 연속적으로 횡단되는 비반복 경계 어트랙터입니다.

네트워크 상태 공간은 가능한 모든 노드 상태의 집합입니다.어트랙터 공간은 어트랙터의 노드 세트입니다.어트랙터 네트워크는 입력 패턴에 근거해 초기화된다.입력 패턴의 치수는 네트워크 노드의 치수와 다를 수 있습니다.네트워크의 궤적은 네트워크가 유인기 상태를 향해 수렴될 때 진화 경로를 따라 일련의 상태로 구성됩니다.흡인 분지는 특정 ^[1]흡인기를 향해 이동하는 일련의 상태를 말합니다.

종류들

다양한 유형의 어트랙터를 사용하여 다양한 유형의 네트워크 다이내믹스를 모델링할 수 있습니다.고정점 어트랙터 네트워크가 가장 일반적이지만(홉필드^[3] 네트워크에서 발신) 다른 유형의 네트워크도 조사됩니다.

고정점 어트랙터

고정점 어트랙터는 홉필드 네트워크에서 자연스럽게 따라옵니다.통상, 이 모델의 고정점은 부호화된 메모리를 나타냅니다.이러한 모델은 관련 메모리, 분류 및 패턴 완성을 설명하기 위해 사용되어 왔습니다.홉필드 네트에는 네트워크가 점근적으로 정지 상태에 접근할 수 있도록 하는 기본적인 에너지^[4] 함수가 포함되어 있습니다.포인트 어트랙터 네트워크의 한 클래스는 입력으로 초기화되며, 그 후 입력이 삭제되어 네트워크가 안정된 상태로 이행한다.어트랙터 네트워크의 또 다른 클래스는 다른 유형의 입력으로 프로빙되는 미리 정의된 가중치를 특징으로 합니다.이 안정된 상태가 입력 중과 입력 후에 다르면 연상 메모리의 모델로서 기능한다.다만, 입력중의 상태와 입력 후의 상태가 다르지 않으면, 네트워크를 사용해 패턴을 완성할 수 있습니다.

기타 고정식 어트랙터

선 유인기와 평면 유인기는 안구 운동 제어 연구에 사용됩니다.이러한 선 유인기 또는 신경 적분기는 자극에 반응하여 눈의 위치를 묘사합니다.고리 유인기는 설치류 머리 방향을 모델링하는 데 사용되었습니다.

순환 어트랙터

순환 유인기는 씹기, 걷기, 호흡과 같은 동물의 진동 활동을 지배하는 뉴런인 중심 패턴 발생기를 모델링하는 데 중요하다.

혼돈의 유인기

무질서한 유인기(이상한 유인기라고도 함)는 냄새 인식에 패턴을 반영한다는 가설을 세워왔다.무질서한 유인기는 한계 주기에 더 빠르게 수렴할 수 있는 장점이 있지만, ^[5]이 이론을 뒷받침할 실험적인 증거는 아직 없다.

연속 어트랙터

연속 변수의 인접 값(헤드 방향이나 공간에서의 실제 위치 등)에 대한 연속 어트랙터(연속 어트랙터 뉴럴 네트워크라고도 함)의 인접 안정 상태(픽스 포인트) 코드.

링 어트랙터

뉴런의 특정 토폴로지를 가진 연속 유인기의 하위 유형(1차원용 링 및 2차원 네트워크용 토러스 또는 트위스트 토러스).그리드 세포의 관찰된 활동은 내측 장피질에 고리 유인체가 존재한다고 가정함으로써 성공적으로 설명된다.^[6] 최근, 유사한 고리 유인체가 장내 피질의 측면 부분에 존재하며 그 역할은 새로운 일시적 기억을 등록하는 데까지 확장된다는 것이 제안되었다.^[7]

실장

어트랙터 네트워크는 주로 고정점 어트랙터를 사용하는 메모리 모델로 구현되어 왔다.그러나 어트랙터 풍경과 네트워크 배선을 설계하는 데 어려움이 있어 어트랙터의 상태가 좋지 않은 어트랙터 및 어트랙션 분지가 발생하기 때문에 계산 목적으로는 대부분 실용적이지 않았습니다.더욱이, 유인기 네트워크에 대한 훈련은 k-가장 가까운 이웃 분류기와 ^[8]같은 다른 방법에 비해 일반적으로 계산 비용이 많이 든다.그러나, 운동 기능, 기억, 의사결정과 같은 다른 생물학적 기능에 대한 일반적인 이해에서의 그들의 역할은 그들을 생물학적으로 현실적인 모델로서 더 매력적으로 만든다.

홉필드 네트워크

홉필드 어트랙터 네트워크는 어트랙터 네트워크의 초기 구현으로 관련 메모리를 갖추고 있습니다.이러한 반복 네트워크는 입력에 의해 초기화되어 고정점 어트랙터로 향합니다.이산 시간에서의 업데이트 함수는 $x(t+1)=f(Wx(t))$ ( $x(t+1)=f(Wx(t))$ + $x(t+1)=f(Wx(t))$ ) $x(t+1)=f(Wx(t))$ ( $x(t+1)=f(Wx(t))$ ( $x(t+1)=f(Wx(t))$ ) { $displaystyle$ x ( $t$ ) $= f$ ( W ( $W$ ) $x(t+1)=f(Wx(t))$ $x$ { $displaystyle$ x}는 $x$ 네트워크 내 노드의 $W$ 이고W { $displaystyle$ W $}$ 는 $W$ 그 연결을 나타내는 대칭 매트릭스입니다.연속 시간 ${\frac {dx}{dt}}=-\lambda x+f(Wx)$ 는 d ${\frac {dx}{dt}}=-\lambda x+f(Wx)$ ${\frac {dx}{dt}}=-\lambda x+f(Wx)$ t ${\frac {dx}{dt}}=-\lambda x+f(Wx)$ - ${\frac {dx}{dt}}=-\lambda x+f(Wx)$ + f ( ${\frac {dx}{dt}}=-\lambda x+f(Wx)$ x ) { $displaystyle$ { $frac$ { $display$ } = - \ $displayda$ x + $f$ ( $Wx )$ } 입니다.

쌍방향 네트워크는 Hopfield 네트워크와 비슷하지만 $행렬$ W(\ $displaystyle$ W $)$ 는 $W$ ^[4]블록 매트릭스입니다.

로컬리스트 어트랙터 네트워크

Zemel and Mozer(2001)^[8]는 네트워크 내의 각 접속에 의한 복수의 어트랙터의 부호화에 의해 발생하는 스플리어스 어트랙터의 수를 삭감하는 방법을 제안했습니다.로컬리스트 어트랙터 네트워크는 어트랙터를 나타내는 혼합 가우시안 상에서 기대 최대화 알고리즘을 구현하여 로컬로 지식을 부호화함으로써 네트워크 내의 자유 에너지를 최소화하고 가장 관련성이 높은 어트랙터만을 수렴한다.그 결과 다음과 같은 업데이트 방정식이 생성됩니다.

어트랙터의 액티비티를 판별합니다 $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ i ( $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ ) $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ i ( $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ ) , $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ , $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ （ $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ ） $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ w j $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ ( $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ ) , $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ , $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ ） $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ $displaystyle q$ _ { $i }$ ( t ) $= frac$ _ { $pi$ _ { i （ $y$ （ $t$ ） , w _ $q_{i}(t)={\frac {\pi _{i}(y(t),w_{i},\sigma (t))}{\sum _{j}\pi _{j}g(y(t),w_{j},\sigma (t))}}$ i $}$ 。 $}{\sum _{j}\pi _{j}g(y(t),w_{j},\sum (t))$ $}}}$
네트워크의 다음 상태를 확인합니다 $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ ( $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ + $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ ) $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ α ( $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ ) $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ + ( $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ - $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ ( $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ ) $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ i $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ ( $y(t+1)=\alpha (t)\xi +(1-\alpha (t))\sum _{i}q_{i}(t)w_{i}\,\!$ t ) $i$ \ $style$ y ( t + $1 ) =$ \ $alpha$ ( t ) \ $xi$ + ( $1$ - \ $alpha$ ( t ) \ $sum$ _ { $i$ } w _ { $i }$ 。
네트워크를 통해 어트랙터 폭을 결정합니다. $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ y $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ ( $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ ) $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ n $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ i ( $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ ) $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ ( $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ ) - $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ i $\sigma _{y}^{2}(t)={\frac {1}{n}}\sum _{i}q_{i}(t)|y(t)-w_{i}|^{2}$ ( \ $displaystyle$ \ $display$ style $_$ { $y }^{2$ } ( t ) = $sum$ _ { $frac {1}$ { n } _ { $i （ t$ ) $y$ （ $t$ ） ^ { $i }$ } } } 。

( ${\$ $\pi _{i}$ \ $displaystyle$ \ $pi _$ { $\pi _{i}$ i } )는 $\pi _{i}$ 유역의 강도를 나타내고 w $\$ $displaystyle w_{i}$ 는 $w_{i}$ 유역의 중심을 나타냅니다. $§$ ${\displaystyle$ \xi $\xi$ }은 $\xi$ (는) 인터넷에 대한 입력을 $\xi$ .

그 후 네트워크가 재검출되어 컨버전스가 될 때까지 위의 단계를 반복합니다.모델은 또한 생물학적으로 관련된 두 가지 개념을 반영한다.α $(디스플레이$ 스타일 \alpha $)$ 의 $\alpha$ 변화는 최근 방문한 어트랙터에 대한 빠른 컨버전스를 가능하게 함으로써 자극 프라이밍 모델을 만든다.또한, 유인기의 총 활성은 근처의 두 유인기가 서로 다른 유역을 강화하도록 하는 갱 효과를 가능하게 한다.

어트랙터 네트워크 재통합

Siegelmann(2008)^[9]은 지역주의 유인기 네트워크 모델을 일반화하여 유인기 자체의 조정을 포함시켰다.이 알고리즘은 위의 전자파 방법을 사용하여 다음과 같은 수정을 가합니다. (1) 어트랙터의 액티비티가 가장 분산되어 있을 때 또는 높은 엔트로피가 추가 메모리의 필요성을 시사할 때 알고리즘의 조기 종료, (2) 어트랙터 자체를 $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ 하는 $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ ( $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ + 1) $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ i ( $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ ) $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ ( $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ - v $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ ) $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ ) $displaydisplay$ w $w_{i}(t+1)=vq_{i}(t)\cdot y(t)+[1-vq_{i}(t)]\cdot w_{i}(t)\,\!$ i ( $t+1$ ) = $vq _$ { $i }$ ( $t$ ) + [ 1 - $vq$ _ { $i$ } ( $t$ ) \ $cdot w$ _ { $i$ } ( t ) $。$ $v$ 서 $v$ v { $displaystyle$ v $}$ w_i 스타일 변경의 $w_{i}$ $파라미터$ 입니다.이 모델은 동물의 기억 재응고 현상을 반영하고 기억 실험에서 발견된 것과 동일한 역학을 보여줍니다.

커널 기반 어트랙터 ^[10]네트워크와 같은 어트랙터 네트워크의 추가 개발은 어트랙터 네트워크의 계산 가능성을 학습 알고리즘으로 향상시키면서 복잡한 구성 구조에서 패턴 완성을 수행하는 높은 수준의 유연성을 유지했다.

레퍼런스

^ ^a ^b *Amit, D. J. (1989). Modeling brain function: The world of attractor neural networks. New York, NY: Cambridge University Press.
^ *Poucet, B. & Save, E. (2005). "Attractors in Memory". Science. 308 (5723): 799–800. doi:10.1126/science.1112555. PMID 15879197. S2CID 9681032.
^ *Hopfield, J. J. (1982). "Neural networks and physical systems with emergent collective computational abilities". Proceedings of the National Academy of Sciences. 79 (8): 2554–2558. Bibcode:1982PNAS...79.2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413.
^ ^a ^b *John Hopfield (ed.). "Hopfield network". Scholarpedia.
^ *Chris Eliasmith (ed.). "Attractor network". Scholarpedia.
^ McNaughton BL, Battaglia FP, Jensen O, Moser EI, Moser MB (August 2006). "Path integration and the neural basis of the "cognitive map"". Nat. Rev. Neurosci. 7 (8): 663–678. doi:10.1038/nrn1932. PMID 16858394. S2CID 16928213.
^ Kovács KA (September 2020). "Episodic Memories: How do the Hippocampus and the Entorhinal Ring Attractors Cooperate to Create Them?". Frontiers in Systems Neuroscience. 14: 68. doi:10.3389/fnsys.2020.559186. PMC 7511719. PMID 33013334.
^ ^a ^b *Zemel, R. & Mozer, M. (2001). "Localist attractor networks". Neural Computation. 13 (5): 1045–1064. doi:10.1162/08997660151134325. PMID 11359644. S2CID 2934449.
^ *Siegelmann, H. T. (2008). "Analog-symbolic memory that tracks via reconsolidation". Physica D. 237 (9): 1207–1214. Bibcode:2008PhyD..237.1207S. doi:10.1016/j.physd.2008.03.038.
^ *Nowicki, D.; Siegelmann, H.T. (2010). "Flexible Kernel Memory". PLOS ONE. 5 (6): e10955. Bibcode:2010PLoSO...510955N. doi:10.1371/journal.pone.0010955. PMC 2883999. PMID 20552013.

[amit-1] *Amit, D. J. (1989). Modeling brain function: The world of attractor neural networks. New York, NY: Cambridge University Press.

[poucet-2] *Poucet, B. & Save, E. (2005). "Attractors in Memory". Science. 308 (5723): 799–800. doi:10.1126/science.1112555. PMID 15879197. S2CID 9681032.

[hopfield-3] *Hopfield, J. J. (1982). "Neural networks and physical systems with emergent collective computational abilities". Proceedings of the National Academy of Sciences. 79 (8): 2554–2558. Bibcode:1982PNAS...79.2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413.

[shopfield-4] *John Hopfield (ed.). "Hopfield network". Scholarpedia.

[attractor-5] *Chris Eliasmith (ed.). "Attractor network". Scholarpedia.

[6] McNaughton BL, Battaglia FP, Jensen O, Moser EI, Moser MB (August 2006). "Path integration and the neural basis of the "cognitive map"". Nat. Rev. Neurosci. 7 (8): 663–678. doi:10.1038/nrn1932. PMID 16858394. S2CID 16928213.

[7] Kovács KA (September 2020). "Episodic Memories: How do the Hippocampus and the Entorhinal Ring Attractors Cooperate to Create Them?". Frontiers in Systems Neuroscience. 14: 68. doi:10.3389/fnsys.2020.559186. PMC 7511719. PMID 33013334.

[zemel-8] *Zemel, R. & Mozer, M. (2001). "Localist attractor networks". Neural Computation. 13 (5): 1045–1064. doi:10.1162/08997660151134325. PMID 11359644. S2CID 2934449.

[siegelmann-9] *Siegelmann, H. T. (2008). "Analog-symbolic memory that tracks via reconsolidation". Physica D. 237 (9): 1207–1214. Bibcode:2008PhyD..237.1207S. doi:10.1016/j.physd.2008.03.038.

[10] *Nowicki, D.; Siegelmann, H.T. (2010). "Flexible Kernel Memory". PLOS ONE. 5 (6): e10955. Bibcode:2010PLoSO...510955N. doi:10.1371/journal.pone.0010955. PMC 2883999. PMID 20552013.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

Search