헤비안 이론

헵비안 이론은 시냅스 전 세포가 시냅스 후 세포를 반복적으로 지속적으로 자극함으로써 시냅스 효과의 증가가 일어난다고 주장하는 신경 과학 이론이다.그것은 학습 과정에서의 뇌 뉴런의 적응인 시냅스 가소성을 설명하기 위한 시도이다.그것은 도널드 헵이 1949년에 쓴 그의 책 ^[1]"행동의 조직"에서 소개되었다.이 이론은 또한 헵의 법칙, 헵의 가설, 그리고 세포 집합 이론으로도 불린다.Hebb는 다음과 같이 기술합니다.

잔향 활동(또는 "추적")의 지속성 또는 반복이 안정성에 보탬이 되는 지속적인 세포 변화를 유도하는 경향이 있다고 가정해 보자.세포 A의 축삭이 세포 B를 자극하기에 충분히 가깝고 반복적으로 또는 지속적으로 세포 B의 발화에 관여할 경우, 세포 B의 발화 중 하나인 A의 효율이 증가하도록 ^[1]일부 성장 과정 또는 대사 변화가 한쪽 또는 양쪽 세포에서 일어난다.

그 이론은 종종 "함께 발사되는 세포들은 ^[2]함께 배선한다"라고 요약된다.그러나 Hebb는 세포 A가 세포 B를 "발화"하는 데 참여할 필요가 있으며, 그러한 인과관계는 세포 B와 동시에가 아니라 세포 A가 발화하기 직전에 발생할 경우에만 발생할 수 있다고 강조했다.Hebb의 연구에서 이러한 인과관계 측면은 현재 알려진 스파이크 타이밍 의존적 가소성에 대한 것을 예시하고 있는데, 이는 ^[3]시간적 우선순위를 필요로 한다.

이 이론은 세포의 동시 활성화가 세포들 사이의 시냅스 강도의 뚜렷한 증가를 초래하는 연상 학습 또는 헤비어 학습을 설명하려고 시도합니다.또한 교육과 기억력 회복을 위한 오류 없는 학습 방법에 대한 생물학적 기초를 제공합니다.인지 기능의 신경 네트워크 연구에서, 종종 그것은 비지도 학습의 신경학적 기초로 간주된다.

헤비안 엔그램과 세포집합 이론

헤비어 이론은 뉴런이 어떻게 자기 자신을 연결시켜 그램이 될 수 있는지에 관한 것이다.셀 어셈블리의 형태와 기능에 대한 Hebb의 이론은 ^{[1]: 70} 다음과 같이 이해할 수 있습니다.

일반적인 생각은 동시에 반복적으로 활성화되는 두 개의 세포나 세포 시스템이 '관련'되는 경향이 있어 한 쪽의 활동이 다른 쪽에서의 활동을 촉진한다는 오래된 생각이다.

Hebb는 다음과 같이 썼다.^{[1]: 63}

한 세포가 다른 세포를 반복적으로 발사하는 것을 도울 때, 첫 번째 세포의 축삭은 두 번째 세포의 소마와 접촉하여 시냅스 노브(또는 이미 존재하는 경우 확대)를 발달시킨다.

[D. Alan Allport]는 다음과 같이 기술된 자동 연관 개념의 선을 따라 세포 집합 이론과 프로그램을 형성하는 그것의 역할에 대한 추가 아이디어를 배치합니다.

시스템에 대한 입력이 동일한 활동 패턴을 반복적으로 발생시키는 경우, 해당 패턴을 구성하는 활성 요소 집합은 더욱 강하게 상호 연관된다.즉, 각 요소는 다른 모든 요소를 켜고 (부정 가중치를 사용하여) 패턴의 일부를 형성하지 않는 요소를 끄는 경향이 있습니다.바꿔 말하면 패턴 전체가 '자동 연관'이 됩니다.학습된(자동 관련) 패턴을 engram이라고 ^{[4]: 44} 부릅니다.

Eric Kandel의 실험실에서의 연구는 해양 복족류 Aplysia californica의 ^{[citation needed]}시냅스에서의 헤비어 학습 메커니즘의 관여에 대한 증거를 제공했다.척추동물의 중추신경계 시냅스에서의 헤비어 시냅스 수정 메커니즘에 대한 실험은 해양 무척추동물에서 연구된 비교적 단순한 말초신경계 시냅스 실험보다 훨씬 더 통제하기 어렵다.척추동물 뉴런 사이의 시냅스 변화에 대한 많은 연구는 뇌세포의 비생리학적 실험 자극을 사용하는 것과 관련이 있다.그러나 척추동물의 뇌에서 연구되어 온 생리적으로 관련된 시냅스 수정 메커니즘 중 일부는 헵비어 과정의 예시로 보인다.그러한^[which?] 연구 중 하나는 시냅스 강도의 장기적인 변화가 헵비어 및 비헵비어 메커니즘을 통해 작용하는 생리적으로 관련된 시냅스 활동에 의해 유발될 수 있음을 나타내는 실험의 결과를 검토한다.

원칙

인공뉴런과 인공신경망의 관점에서, 헵의 원리는 모델뉴런 사이의 무게를 어떻게 변화시키는지를 결정하는 방법으로 묘사될 수 있다.두 개의 뉴런이 동시에 활성화되면 두 개의 뉴런 사이의 무게가 증가하고, 별도로 활성화되면 감소한다.동시에 양수 또는 음수인 경향이 있는 노드는 양수 가중치가 강한 반면 반대되는 노드는 음수 가중치가 강하다.

다음은 헤비어 학습에 대한 공식적 설명입니다(다른 많은 설명이 가능합니다).

$\displaystyle \,w_{ij}=x_{i}x_{j}$

${\displaystyle {여기}_{}}$서 w i $(\$는 $뉴런{\displaystyle }$j(\$displaystyle$ j$)$에서 $뉴런{\displaystyle }$i(\$displaystyle$ i$)$ 및$$ $뉴런{\displaystyle }$i$(\$$displaystyle$ $x_{i$})로의$$ 연결 무게입니다. 이는 패턴 학습입니다(모든 훈련 예 후 업데이트됨).Hopfield 네트워크에서는 i $=$ ${\displaystyle j}$ {\$displaystyle$ i$=j}($재귀 연결은 허용되지 않음)인 경우 i$$ {\displaystyle$$ $w_{ij}}$ ${\displaystyle {연결}_{}}$은 0으로 설정됩니다.바이너리 뉴런(활성화 0 또는 1 중 하나)의 경우, 연결된 뉴런이 패턴에 대해 동일한 활성화를 가질 경우 연결은 1로 설정됩니다.

여러 개의 훈련 패턴을 사용하면 표현식은 개별 표현식의 평균이 됩니다.

$({displaystyle w_{ij}=sum _{k=1}^{p}x_{i}^{k}=\suble x_{i}x_{j}\rangle , , , )$

${\displaystyle {여기}_{}}$서 w i$$ {$displaystyle w_{ij}$는 $뉴런{\displaystyle }$j {\$displaystyle$$$i$\}$에 대한 연결의 $무게$이고$,$ p {\$displaystyle$p}는$$ 훈련 패턴의 ${\displaystyle {수이고}_{}^{}}$, ${\displaystyle {}_{}^{}}$ i$k$(\$displaystyle$x_${i}^{$$}$는 뉴런 i {\$displaystyle$ i$}$에 대한 k$}$번째$$ 입력입니다.<< 고객명 >>은 모든 트레이닝 패턴의 평균입니다.이는 에폭별 학습(모든 훈련 예가 제시된 후 가중치가 업데이트됨)이며, 개별 훈련 세트 및 연속 훈련 세트 모두에 적용할 수 있는 마지막 용어이다.다시 Hopfield 네트워크에서는 i$=j($재귀 연결 없음)$$이면 $ij{\displaystyle }$$(\$$displaystyle$ $w_{ij})$ ${\displaystyle {연결}_{}}$은 0으로 설정됩니다.

차단과 다른 많은 신경 학습 현상을 고려한 헤비어 학습의 변형은 해리 클로프의 ^[5]수학적 모델이다.Klopf의 모델은 매우 많은 생물학적 현상을 재현하고 있으며 구현도 간단합니다.

비지도 학습, 안정성 및 일반화와의 관계

헵비어 학습의 단순한 특성 때문에, 시냅스 전과 시냅스 후 활동의 일치에만 기초해 볼 때, 이러한 형태의 가소성이 의미 있는 학습으로 이어지는 이유는 직관적으로 명확하지 않을 수 있다.그러나, Hebbian 가소성은 비지도 학습으로 분류될 수 있는 방식으로 입력의 통계적 특성을 포착한다는 것을 보여줄 수 있다.

이것은 간단한 예시로 수학적으로 나타낼 수 있습니다.${\displaystyle {속도\mathrm{}}_{}}$${\displaystyle }y{\displaystyle }$ ( ${\displaystyle t}$) \ $displaystyle y$( t )$$\ displaystyle y ( $t$${\displaystyle }$) \ displaystyle x$$ {$1$( ${\displaystyle t}$) \ $displaystyle$x _ { 1 ($$$t$ )$$$x_{N}(t$$뉴런{\displaystyle }$ y${\displaystyle (}$ $)$ {$displaystyle$y$(t)}$의 응답은 보통 입력의 선형 조합인${\displaystyle \underset{}{}{}_{}{}_{}}$ ${\displaystyle i_{}}$ x$$ \ $sum _${ i } $w$_ { $i$} x _ ${ i$ $\}$ x _ { i$$} by by by by by by a$$a by $f$ f f f f f finationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationinationination

$\displaystyle y=f\left(\sum _{i=1}^{N}w_{i}x_{i}\오른쪽).}$

앞서 설명한 바와 같이 Hebbian의 가소성은 시냅스 $웨이트$의 시간 경과에 따른 진화(\$displaystyle$ w$:$

$({displaystyle {frac_{i}}{dt}}=\eta x_{i}y)$

간단하게 하기 위해, 항등 $응답{\displaystyle }$ 함수${\displaystyle }$f${\displaystyle (a}$) $=$ ${\displaystyle a}${\$displaystyle$ f$(a$)=$a$라고 가정하면, 다음과 같이 쓸 수 있다.

${{displaystyle {frac_{i}{dt}}=\eta x_{i}\sum _{j=1}^{N}w_{j}x_{j}}$

또는 매트릭스 형식:

${\displaystyle {d\mathbf {w} {dt}}=\eta \mathbf {x} \mathbf {x}^{T}\mathbf {w} .}$

이전 장과 같이 에폭별 훈련을 실시하면 평균 <. < \ $display$ style <>x$${\$displaystyle \mathbf {x}}$의 개별 또는 연속(시간) 교육 세트에 대해 $>}$을(를) 수행할 수 있습니다.

$여기$서 C $=$ ${\displaystyle ⟨}$ ${\displaystyle x{\mathbf{}}^{}}$ ${\displaystyle {}^{}}$ ${\$ { $displaystyle$ C=\$langle },$ \$mathbf {x}$\mathbf {x} ^{$T}\$rangle$$}는${\displaystyle }$of $0 =$ ${\displaystyle 0}$\ $displaystyle \mathbf {x}$ \$langle$ }$$의 추가 가정 하에 입력의 상관 행렬입니다.$이것$은 N$(\style$ N$)$ 결합$$ 선형 미분 $방정식$의 시스템입니다.C$(\displaystyle$ C$)$는 대칭이기 때문에 대각선화도 가능하며, 고유 벡터 기반으로 작업하여 다음과 같은 형태로 솔루션을 찾을 수 있다.

$\displaystyle \mathbf {w}(t)=k_{1}e^{\eta \alpha _{1}t}\mathbf {c}_{1}+k_{2}e^{\eta \alpha _{2}t}\mathbf {c}_{2}+...+k_{N}e^{\eta \alpha _{N}t}\mathbf {c} _{N}}$

$여기$서 ${\displaystyle {ki}_{}}${\$displaystyle k_{i}$는 임의 상수이고, ${\displaystyle {}_{}}$ i${\displaystyle \mathbf$ {$c} _{$i$$}는 C$${\$displaystyle$ C$$$}$ 및 α$$ {$style \alpha$ _${i}$의 $고유{\displaystyle }$ 벡터입니다.상관행렬은 항상 정의-확정행렬이기 때문에 고유값은 모두 정의이며, 위의 해법이 어떻게 항상 시간적으로 기하급수적으로 발산되는지 쉽게 알 수 있습니다.이것은 이 버전의 Hebb 규칙이 불안정하기 때문에 발생하는 본질적인 문제입니다.우세한 신호가 있는 네트워크에서는 시냅스 가중치가 기하급수적으로 증가하거나 감소합니다.직관적으로 시냅스 전 뉴런이 시냅스 후 뉴런을 자극할 때마다 그 사이의 무게가 강화되기 때문에 미래에는 자기강화적인 방식으로 더욱 강한 자극을 일으킬 수 있습니다.시냅스 후 뉴런의 발화속도를 제한하기 위해서는 비선형 $포화반응함수{\displaystyle }$ f${displaystyle$ f$\}$를 추가하는 것이 해결책이라고 생각할 수 있지만 실제로 어떤 뉴런 모델에서도 ^[6]헵의 법칙이 불안정하다는 것을 알 수 있다.따라서, 뉴런의 네트워크 모델은 보통 BCM 이론, 오자의 [7]법칙 또는 일반화 헵비안 알고리즘과 같은 다른 학습 이론을 사용합니다.

그럼에도 불구하고, 위의 불안정한 해법에서도, 충분한 시간이 흐르면, 어느 하나의 용어가 다른 용어보다 우세하다는 것을 알 수 있다.

$\displaystyle \mathbf {w} (t)\approx e^{\eta \alpha ^{*}t}\mathbf {c}^{*}}$

$여기$서 α ${\$ {\$displaystyle \alpha$^{*}}는$$C {\$displaystyle$ C$\}$의 최대 고유값입니다. 이때 시냅스 후 뉴런은 다음 작업을 수행합니다.

${\displaystyle y\approx e^{\eta \alpha ^{*}t}\mathbf {c}^{*}\mathbf {x}}$

Because, again, ${\displaystyle \mathbf {c} ^{*}}$ is the eigenvector corresponding to the largest eigenvalue of the correlation matrix between the ${\displaystyle x_{i}}$s, this corresponds exactly to computing the first principal component of the input.

이 메커니즘은 시냅스 후 뉴런이 예를 들어 시냅스 후 층에서 가로 방향 억제를 추가함으로써 모두 동일한 주성분을 획득하는 것을 방지한다면 추가적인 시냅스 후 뉴런을 추가함으로써 입력의 완전한 PCA(주성분 분석)를 수행하는 것으로 확장될 수 있다.따라서 네트워크가 입력의 유용한 통계적 측면을 포착하여 출력에서 ^[8]증류 방식으로 "기술"할 수 있다는 의미에서 감독되지 않은 학습의 기본 형태인 PCA에 Hebbian 학습을 연결했다.

제한 사항

헵의 원리는 장기전위화를 위해 헵의 모델을 일반적으로 사용함에도 불구하고 모든 형태의 시냅스 장기 가소성을 포함하지는 않습니다.헵은 억제 시냅스에 대한 어떤 규칙도 상정하지 않았고, 항원인 스파이크 시퀀스(시냅스 후 뉴런 발화)에 대한 예측도 하지 않았다.시냅스 변형은 단순히 활성화된 뉴런 A와 B 사이뿐만 아니라 인접한 시냅스에서도 발생할 수 있다.^[9]따라서 모든 형태의 헤테로시냅스 및 항상성 가소성은 비헤비어로 간주됩니다.예를 들어 시냅스 전 ^[10]단말기로의 역행 시그널링이 있습니다.이러한 역행 전달체 역할을 수행하는 것으로 가장 일반적으로 식별되는 화합물은 산화질소이며, 산화질소는 높은 용해성과 확산성으로 인해 종종 인근 ^[11]뉴런에 영향을 미친다.볼륨 러닝으로 알려진 이러한 유형의 확산 시냅스 수정은 전통적인 헤비어 ^[12]모델에는 포함되지 않습니다.

거울 뉴런의 헤비어 학습 설명

헤비어 학습과 스파이크 타이밍에 의존하는 가소성은 거울 뉴런이 어떻게 ^[13][14]출현하는지에 대한 영향력 있는 이론에 사용되어 왔다.거울 뉴런은 개인이 어떤 행동을 할 때 그리고 개인이 다른^[15] 사람이 비슷한 행동을 하는 것을 보거나 들을^[16] 때 발화하는 뉴런이다.이러한 뉴런의 발견은 개인이 다른 사람의 행동을 어떻게 이해하는지 설명하는데 큰 영향을 끼쳤는데, 이는 한 사람이 다른 사람의 행동을 지각할 때, 그 사람이 비슷한 행동을 하기 위해 사용하는 운동 프로그램을 작동시킨다는 것을 보여주었습니다.그리고 나서 이러한 모터 프로그램의 활성화는 지각에 정보를 더하고 지각자 자신의 모터 프로그램을 기반으로 사람이 다음에 무엇을 할 것인지를 예측하는 데 도움을 준다.난제는 어떻게 개인이 어떤 행동을 하는 동안 그리고 다른 행동을 하는 것을 듣거나 보는 동안 둘 다 반응하는 뉴런을 갖게 되었는지 설명하는 것이었다.

Christian Keyers와 David Perrett은 개인이 특정한 행동을 할 때 그 행동을 보고 듣고 느낄 것이라고 제안했다.이러한 재구심적 감각 신호는 시각, 소리, 그리고 행동의 느낌에 반응하는 뉴런의 활동을 촉발할 것입니다.이러한 감각 뉴런의 활동은 행동을 일으킨 운동 뉴런의 활동들과 지속적으로 겹치기 때문에, 헤비안 학습은 행동의 시각, 소리, 느낌에 반응하는 뉴런과 행동을 촉발하는 뉴런을 연결하는 시냅스가 강화되어야 한다고 예측한다.사람들이 거울에 비친 자신을 보거나, 옹알이 소리를 듣거나, 다른 사람들에 의해 흉내를 낼 때도 마찬가지다.이 재공개를 반복한 후, 동작의 감각과 운동 표현을 연결하는 시냅스는 매우 강력하여 운동 뉴런이 동작의 소리 또는 시각에 발화하기 시작하고 거울 뉴런이 생성된다.

그러한 관점의 증거는 운동 프로그램의 실행과 자극을 반복적으로 조합한 후 새로운 청각 또는 시각적 자극에 의해 운동 프로그램이 유발될 수 있다는 것을 보여주는 많은 실험에서 나온다(증거 검토는 Giudice 등, 2009^[17] 참조).예를 들어, 피아노를 쳐본 적이 없는 사람들은 피아노 음악을 들을 때 피아노 연주와 관련된 뇌의 영역을 활성화시키지 않는다.키를 누를 때마다 피아노 소리에 노출되는 5시간의 피아노 레슨은 나중에 ^[18]피아노 음악을 들었을 때 뇌의 운동 부위가 활성화되는 데 충분한 것으로 입증됐다.스파이크 타이밍 의존 가소성은 시냅스 전 뉴런의 발화가 ^[19]시냅스 후 뉴런의 발화를 예측하는 경우에만 발생한다는 사실과 일관되게, 감각 자극과 운동 프로그램 사이의 연결은 또한 자극이 운동 프로그램에 좌우될 때에만 강화되는 것처럼 보인다.

「 」를 참조해 주세요.

레퍼런스

추가 정보

• Hebb, D.O. (1961). "Distinctive features of learning in the higher animal". In J. F. Delafresnaye (ed.). Brain Mechanisms and Learning. London: Oxford University Press.
• Hebb, D. O. (1940). "Human Behavior After Extensive Bilateral Removal from the Frontal Lobes". Archives of Neurology and Psychiatry. 44 (2): 421–438. doi:10.1001/archneurpsyc.1940.02280080181011.
• Bishop, C.M. (1995). Neural Networks for Pattern Recognition. Oxford: Oxford University Press. ISBN 978-0-19-853849-3.
• Paulsen, O.; Sejnowski, T. J. (2000). "Natural patterns of activity and long-term synaptic plasticity". Current Opinion in Neurobiology. 10 (2): 172–179. doi:10.1016/S0959-4388(00)00076-3. PMC 2900254. PMID 10753798.

외부 링크

• 개요
• 헤비안 학습 튜토리얼 (Part 1: 신규성 필터링, Part 2: PCA)