전전두피질 기저신경절 작업기억

Prefrontal cortex basal ganglia working memory

전전두피질 기저신경절 작업기억(PBWM)은 전전두피질과 기저신경절의 [1]작업기억을 모델링하는 알고리즘이다.

기능적으로는 Long Short-Term Memory(LSTM; 롱 단기 메모리)와 비교할 수 있지만 생물학적으로는 설명이 [1][2]용이합니다.

1차 가치 학습 가치 모델을 사용하여 전전두피질과 기저신경절의 [3]생물학을 기반으로 전전두피질 작업 기억 갱신 시스템을 훈련시킨다.

Leabra 프레임워크의 일부로 사용되며 2019년 Emergencent에서 구현되었다.

추상적인

전전두엽 피질은 오랫동안 작업 기억(처리를 위한 온라인 정보 보유)과 "이그제큐티브" 기능(작업 기억을 조작하고 처리를 수행하는 방법 결정)을 모두 제공하는 것으로 여겨져 왔다.작업 메모리의 많은 계산 모델이 개발되었지만, 실행 기능의 기계적 기반은 여전히 모호합니다.

PBWM은 전전두엽 피질의 계산 모델로서 전략적이고 적절한 방식으로 자신과 다른 뇌 영역을 제어합니다.이러한 학습 메커니즘은 함께 행위자/비판 구조를 형성하는 중뇌, 기저 신경절 및 편도체의 피질하 구조에 기초한다.비평가 시스템은 어떤 전전두부 표현이 작업과 관련이 있는지 학습하고 행위자를 훈련시키며, 이는 작업 메모리 업데이트를 제어하기 위한 동적 게이트 메커니즘을 제공합니다.계산적으로, 학습 메커니즘은 시간적 및 구조적 신용 할당 문제를 동시에 해결하도록 설계되었습니다.

모델의 성능은 까다로운 1-2-AX 작업 메모리 작업 [1][third-party source needed]및 기타 벤치마크 작업 메모리 작업에 대한 표준 역전파 기반 시간 학습 메커니즘에 비해 양호하다.

모델

첫째, 전전두피질 및 선조체 층에는 여러 개의 개별 줄무늬(단위 그룹)가 있습니다.각 스트라이프를 개별적으로 갱신할 수 있기 때문에, 이 시스템은 동시에 복수의 다른 것을 기억할 수 있습니다.메모리의 갱신과 유지보수의 타이밍에 대해서는 각각 다른 「업데이트 폴리시」를 가집니다.기억의 활성 유지는 전전두피질(PFC)에 있으며 업데이트 신호(및 일반적으로 업데이트 정책)는 선조체 단위(기초 신경절 [3]단위의 하위 집합)에서 나옵니다.

PVLV는 기초 신경절의 동적 게이트 시스템을 훈련시키기 위한 강화 학습 신호를 제공합니다.

감각 입력 및 모터 출력

감각 입력은 모터 출력에 연결된 후피질에 연결됩니다.감각 입력은 PVLV 시스템에도 연결됩니다.

후피질

후방 피질은 입력/출력 매핑의 숨겨진 레이어를 형성합니다.PFC는 이 입력/출력 매핑을 컨텍스트화하기 위해 후방 피질에 연결됩니다.

PFC

PFC(출력 게이트용)에는 스트라이프마다 입력 유닛의 로컬리스트1 대 1 표현이 있습니다.따라서, 이러한 PFC 표현을 참조해, 네트워크가 유지하고 있는 것을 직접 확인할 수 있습니다.PFC는 작업 실행에 필요한 작업 메모리를 유지합니다.

선조체

이것은 기저신경절의 선조체 단위를 나타내는 동적 게이트 시스템입니다.스트라이프 내의 모든 짝수 인덱스 단위는 "Go"를 나타내며 홀수 인덱스 단위는 "NoGo"를 나타냅니다.Go 유닛은 PFC의 갱신을 일으키는 반면 NoGo 유닛은 PFC의 기존 메모리 표현을 유지합니다.

각 스트라이프에는 유닛 그룹이 있습니다.

Emergent의 PBWM 모델에서 매트릭스는 선조체를 나타냅니다.

PVLV

이들 레이어는 모두 PVLV 시스템의 일부입니다.PVLV 시스템은 기저신경절(BG)의 도파민성 변조를 제어합니다.따라서 BG/PVLV는 PVLV 시스템이 [citation needed]갱신 시기를 학습하는 액터 비판 아키텍처를 형성합니다.

SNrThal

SNrThal은 특정 스트라이프 내에서 Go/NoGo 단위 간의 경쟁을 생성하고 k-winners-take-all 역학을 사용하여 경쟁을 중재하는 실질적인 SNR(nigra pars reticulata)과 시상의 관련 영역을 나타낸다.특정 스트라이프 내에서 전체적인 Go 액티비티가 많을 경우 관련된 SNrThal 유닛이 활성화되고 PFC에서 갱신이 실행됩니다.각 스트라이프에 대해 SNrThal에는 [citation needed]1개의 유닛이 있습니다.

VTA 및 SNC

복측피개영역(VTA)과 실체니그라파스콤팩트(SNC)는 도파민층의 일부이다.이 층은 중뇌 도파민 뉴런을 모델링합니다.그들은 기저신경절의 [citation needed]도파민성 변조를 조절한다.

「 」를 참조해 주세요.

레퍼런스

  1. ^ a b c O'Reilly, R.C & Frank, M.J. (2006). "Making Working Memory Work: A Computational Model of Learning in the Frontal Cortex and Basal Ganglia". Neural Computation. 18 (2): 283–328. doi:10.1162/089976606775093909. PMID 16378516. S2CID 8912485.
  2. ^ Jeevanandam, Nivash (2021-09-13). "Underrated But Fascinating ML Concepts #5 – CST, PBWM, SARSA, & Sammon Mapping". Analytics India Magazine. Retrieved 2021-12-04.
  3. ^ a b "Leabra PBWM". CCNLab.