예측 부호화

이 글에는 여러 가지 문제가 있다. 이 문제를 개선하거나 대화 페이지에서 토의하십시오. (이러한 템플릿 메시지를 제거하는 방법 및 시기 알아보기) 이 글은 대부분의 독자들이 이해하기에는 너무 기술적인 것일 수도 있다. 기술 세부 정보를 삭제하지 않고 비전문가가 이해할 수 있도록 개선하십시오. (2017년 6월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기) 이 글은 인용 방식이 불분명하다. 사용된 참고문헌은 서로 다르거나 일관된 인용과 발음으로 더 명확해질 수 있다. (2017년 5월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기) (이 템플릿 메시지를 제거하는 방법 및 시기 알아보기)

예측 코딩이라는 용어는 느슨하거나 관련이 없는 감각에서 여러 분야(신호 처리 기술 및 법률 포함)에서 사용된다.

신경과학에서 예측 코딩(예측 처리라고도 한다)은 뇌가 환경의 정신 모델을 끊임없이 생성, 업데이트하고 있는 뇌 기능의 이론이다. 모델은 실제 감각 입력과 비교되는 감각 입력의 예측을 생성하는데 사용된다. 이러한 비교를 통해 예측 오류가 발생하며, 이 오류는 멘탈 모델을 업데이트하고 수정하는 데 사용된다.

오리진스

예측 코딩에 대한 이론적 조상들은 헬름홀츠의 무의식적 추론이라는 개념으로 1860년대 초반으로 거슬러 올라간다.^[1] 무의식적 추론은 인간의 뇌가 어떤 장면을 이해하기 위해 시각적 정보를 채운다는 생각을 말한다. 예를 들어, 만약 어떤 것이 시각장치의 다른 물체보다 상대적으로 작다면, 뇌는 그 정보를 심도의 유력한 신호로 사용하게 된다. 예를 들어, 지각자는 궁극적으로(그리고 비자발적으로) 심도를 경험하게 된다. 지각의 이해는 감각 자극(상향)과 개념적 지식(상향)의 상호 작용으로 계속 확립되었는데, 제롬 브루너는 1940년대부터 필요, 동기, 기대가 지각에 영향을 미치는 방법, '뉴 룩' 심리학으로 알려지게 된 연구를 연구하였다. 1981년, 맥클렐랜드와 루멜하트는 그들의 세미나의^[2] 논문에서 글자를 형성하는 처리 특징들(선 및 등고선) 사이의 상호작용을 조사했고, 이는 다시 단어들을 형성한다. 특징들은 단어의 존재를 암시하지만, 그들은 문자가 단어의 맥락에 위치했을 때, 의미적 맥락 없이 비단어에 위치했을 때보다 더 빨리 단어의 의미를 식별할 수 있다는 것을 발견했다. McClelland와 Rumelhart의 병렬 처리 모델은 인식을 하향식(개념)과 상향식(감각적) 요소의 만남으로 설명한다.

1990년대 후반, 하향식, 상향식 가공의 아이디어는 Rao와 Ballard에 의해 시력의 컴퓨터 모델로 번역되었다.^[3] 그들의 논문은 오류 신호(예측과 시각적 입력이 얼마나 다른지)를 통해 피드백을 받는 장면의 생성 모델(하향식 처리)이 있을 수 있다는 것을 입증했고, 이는 이후 예측을 갱신하게 될 것이다. 계산 모델은 잘 확립된 수용적 현장 효과뿐만 아니라 엔드 스톱(end-stopping)과 같은 덜 이해된 추가 고전적 수용적 현장 효과를 복제할 수 있었다. 오늘날, 컴퓨터 과학과 인지 과학의 분야들은 기계 학습과 신경망의 기초가 되는 다계층 생성 모델을 만들기 위해 이와 같은 개념을 통합한다.^[4]

일반 프레임워크

그 분야의 연구 문헌은 대부분 감각 지각, 특히 시각에 관한 것이었는데, 이는 보다 쉽게 개념화된다. 그러나 예측 코딩 프레임워크는 다른 신경계에도 적용될 수 있다. 감각 시스템을 예로 들어보면, 뇌는 베이시안 추론을 통해 감각 입력의 원위 원인에 대한 모델링이 어려워 보이는 난해한 문제를 해결한다. 피질 계층 구조에서 비교적 높은 수준에서 후방 연결을 통해 낮은 수준의 감각 입력에 대한 예측을 모델링함으로써 이 작업을 수행한다.^[5] 외부 세계의 통계적 규칙성(그리고 특정한 진화적으로 준비된 예측)에 의해 제약을 받아, 뇌는 낮은 수준에서 상승하는 감각 입력을 예측하고 효과적으로 억제하기 위해 다양한 시간적, 공간적 척도로 하향식 생성 모델을 암호화한다. 예측(사전)과 감각 입력(우도)의 비교는 차이 측정(예: 예측 오류, 자유 에너지 또는 기습)을 산출하며, 예상 통계 소음 수준을 넘어 충분히 크면 생성 모델이 업데이트되어 미래에 감각 입력을 더 잘 예측할 수 있게 된다.

일반적으로 놀라움의 양(차이 척도)을 최소화하려고 한다고 쉽게 말할 수 있다. 이것은 또한 오늘날 확인 편향이라고 불리는 것 또는 역사적으로 편견일 수 있는 것(후자가 부정적인 의미를 더 많이 가지고 있지만)이 지금까지의 자신의 경험에 더 잘 맞고 일관성을 지지하기 때문에 그 이유이기도 하다. 그러므로, 이것은 오늘날의 세계에서 오히려 불리한 것으로 판명된다.^[6]

대신에 모델이 운전 감각 신호를 정확하게 예측한다면, 더 높은 수준의 활동은 더 낮은 수준의 활동을 상쇄하고 모델의 후방 확률은 증가한다. 따라서 예측 코딩은 대부분 상향식 프로세스로서 기존의 인식 관점을 뒤집어서, 외부 세계의 신호가 예측 오류의 형태로 피질 계층 구조 위로 전파되는 정도까지만 지각의 형태를 형성하는 이전의 예측에 의해 크게 제약된다는 것을 시사한다.

정밀 가중치

들어오는 감각 입력의 정밀도(또는 역분산)에 대한 기대는 특정 예측 오류의 예상 정밀도가 예측 업데이트에서 오차가 가중되는 정도에 영향을 미치는 해당 오류에 대한 신뢰도를 알려줄 수 있다는 점에서 예측 오류를 효과적으로 최소화하는데 매우 중요하다.^[7] 우리가 살고 있는 세계가 통계적 잡음으로 가득 차 있다는 점을 감안할 때, 정밀 기대는 뇌의 생성 모델의 일부로 표현되어야 하며, 변화하는 맥락에 유연하게 적응할 수 있어야 한다. 예를 들어 시각적 예측 오류의 예상 정밀도는 새벽과 황혼 사이에 다를 수 있으며, 따라서 야간 예측 오류보다 대낮에 발생하는 오류에 더 큰 조건부 신뢰가 할당된다.^[8] 예측 오차의 추정 정밀도에 비례하여 그러한 예측 오차의 가중치는 본질적으로 주의력이며 ^[9]주의를 기울이는 과정은 예측 에러 유닛의 "게인"을 최적화하는 상승 레티큘러 활성화 시스템(ARAS)에 의해 신경생물학적으로 달성될 수 있다는 것이 최근 제안되었다.

적극추론

모터 동작이 명령이 아닌 자기본위적 예측인 동작에 대한 계정을 제공하기 위해 예측오류 최소화의 동일한 원리가 사용되어 왔다. 이러한 능동적 추론 체계에서 고전적 반사 호는 예측을 더 잘 충족시키는 방법으로 감각 입력을 선택적으로 샘플링하도록 조정되며, 따라서 자기 기만적 예측 오류를 최소화한다.^[9] 실제로 애덤스 외(2013년)는 이러한 모터 시스템의 계층적 예측 코딩 관점이 운동 피질의 농경 조직을 설명하기 위한 원칙적이고 신리적으로 그럴듯한 프레임워크를 제공한다는 것을 시사하는 증거를 검토한다.^[10] 이 견해는 "지각 시스템과 운동 시스템은 별개로 간주되어서는 안 되며 대신에 시각, 청각, 소만투시, 지각간, 그리고 운동 시스템의 경우 자기 기만적인 모든 영역에서 그것의 감각적 입력을 예측하려고 노력하는 하나의 능동적 추론 기계로 간주되어야 한다"^[10]고 제안한다.

예측 코딩에서의 신경 이론

예측 코딩에 대한 신경학적으로 타당한 근거를 제시하는 경험적 증거를 평가하는 것은 광범위하고 다양한 작업이다. 한 가지 예로, 그리고 모델에 따르면, 예측 코딩은 지각과 인지 과정의 모든 반복 단계에서 발생한다. 따라서, 뇌에서 예측 코딩의 발현에는 유전학, 세포의 특정한 사이토아키텍처, 뉴런의 전신 네트워크, 그리고 전체 뇌 분석이 포함된다. 이러한 특수성 범위 때문에 가능한 경우 예측 코딩의 신경 메커니즘을 조사하는 다른 방법이 적용되었다. 그러나 보다 일반적으로, 그리고 적어도 인간과 관련됨에 따라, 잠재적 증거를 조사하는 데는 상당한 방법론적 한계가 있으며 대부분의 작업은 계산적 모에 기초하고 있다.뇌 속의 미세순환 분해 그럼에도 불구하고 뇌의 예측 코딩 메커니즘을 이해하는 데 적용된 상당한 (이론적) 작업이 있었다. 이 섹션은 예측 코딩 현상에 관련된 특정 근거에 초점을 맞출 것이다. 예를 들어, 유사성보다는 예측 코딩 현상과 관련이 있다. (그렇지만, 베이시안 추론에 대한 전체적인 이해에는 필수적이지만 이미 많은 지지를 받고 있다. 검토는^[5] 클라크 참조)

신경 메커니즘에 예측 코딩 프레임워크를 적용한 초기 작업의 대부분은 감각 신경 세포, 특히 시각 피질에서 나왔다.^[3][11]

그러나 보다 일반적으로 이론에 의해 요구되는 것으로 보이는 것은 (적어도) 두 종류의 뉴런이다. (각각 지각 계층의 모든 수준에서), 유입되는 감각 입력을 암호화하는 뉴런의 집합, 즉 피드-포워드 투영, 예측을 하향 전송하는 뉴런의 집합, 소위 피드-백-투영이라고 한다. 이러한 뉴런들은 오류 검출의 특성도 가지고 있어야 한다는 점을 유념해야 한다. 어떤 종류의 뉴런들이 이러한 특성을 가지고 있는지는 여전히 논쟁거리가 되고 있다.^[12][13] 이런 종류의 뉴런들은 피상적이고 초자연적인 피라미드형 뉴런에서 지지를 찾았다.

보다 전체 뇌 수준에서 서로 다른 피질층(일명 라미나에)이 계층에 걸친 피드포워드 및 피드백 투영 통합에 도움이 될 수 있다는 증거가 있다. 위에서 언급한 뉴런의 하위 집단을 수용하는 이 피질층은 세분화, 농경화, 이질화 등으로 나뉘며 6개의 주요 층으로 나뉜다. 이들 층 내의 사이토아키텍처도 동일하지만 층마다 다르다. 예를 들어, 과립피질의 4계층은 흥분성인 과립세포를 포함하고 나머지 피질에 태음질 입력을 분산시킨다. 한 가지 모델에 따라:

"...신경세포... 농경 피질의 깊은 층에서 감각 예측을 ...투영을 통해 이상 및 세분된 감각 피질의 과대망상층에 전달함으로써 능동 추론을 유도한다. 예측-오류 뉴런 ….세밀한 피질층의 과대망상층에서 예측과 수신된 감각신호의 차이를 계산하고 예측오류신호를 투영을 통해 전송한다...농경 피질 부위의 깊은 층으로 되돌아간다. 정밀 셀 … 예측 및 예측 오류에 대한 게인을 동적으로 조정하여, 내림차 예측에 대한 상대적 신뢰도나 들어오는 감각 신호의 신뢰도에 따라 이러한 신호의 무게가 감소(또는 어떤 경우에는 더 커짐)된다."^[14]

요컨대, 신경 증거는 아직 걸음마 단계에 있다.

예측 코딩 적용

지각

예측 코딩에 대한 경험적 증거는 지각 처리에서 가장 강력하다. 이에 따라 Rao와 Ballard는 1999년 초 고차 시각 피질 영역이 예측을 전송하고 피드포워드 연결이 예측과 실제 하위 수준 활동 사이의 잔여 오류를 전달하는 계층적 시각 처리 모델을 제안했다.^[3] 이 모델에 따르면 계층적 모델 네트워크의 각 레벨(이미지를 나타내는 최저 레벨 제외)은 피드백 연결을 통해 차상위 레벨의 반응을 예측하려고 시도하며, 오류 신호는 각 레벨의 입력 신호의 추정치를 동시에 수정하는 데 사용된다.^[3] 엠버슨 외 연구진은 교차모달 시청각 누락 패러다임을 이용하여 유아들의 하향식 변조를 확립하여 유아 두뇌조차도 시각적 피질에서 하류로 운반되는 미래 감각적 입력에 대한 기대를 가지고 있으며 기대 기반 피드백을 할 수 있다고 판단하였다.^[15] 기능적 근적외선 분광학(fNIRS) 데이터는 신생아의 후두피질이 예기치 않은 시각적 누락(시각적 정보 입력 없음)에는 반응하지만 예상된 시각적 누락에는 반응하지 않는 것으로 나타났다. 이러한 결과는 계층적으로 조직된 인식 시스템에서 고차 뉴런이 저차 뉴런으로 예측을 전송하고, 이는 다시 예측 오류 신호를 상향 전송한다는 것을 입증한다.

가로채기

인터셉션에서 예측 코딩의 역할에 대해 여러 가지 경쟁 모델이 있었다.

2013년에 Anil Seth는 우리의 주관적 감정 상태, 즉 감정이라고 알려진 것은 인과관계의 감정평가로부터 적극적으로 구축된 예측 모델에 의해 생성될 것을 제안했다.^[13] 우리가 타인의 내부 상태를 원인의 탓으로 돌리는 방식과 관련, 사샤 온도바카, 제임스 킬너, 칼 프리스톤(2015년)은 자유 에너지 원리는 '자유 에너지'로 나타나는 예측 오류의 양을 줄이는 것을 목표로 두뇌가 연속적인 예측을 만들도록 요구한다고 제안했다.^[16] 이 오류들은 외부 세계의 상태가 어떻게 될 것인지에 대한 예상 정보와 다른 사람들의 행동 원인에 대한 이해를 포함하여 그 세계 상태의 원인에 대한 귀속성을 모형화하는 데 사용된다. 이것은 특히 필요한데, 왜냐하면 이러한 귀속성을 창조하기 위해서, 우리의 다중 감각 시스템은 자신을 조직하기 위해 기만적인 예측을 필요로 하기 때문이다. 따라서 온도바카는 예측 코딩이 타인의 내적 상태를 이해하는 열쇠라고 단언한다.

2015년 리사 펠드먼 바렛과 W. 카일 시몬스(2015)는 베이지안 활성 추론 원리를 피질구연결의 생리학적 프레임워크로 통일하는 프레임워크인 '구체화된 예측 인터셉션 코딩 모델'을 제안했다. 그들은 이 모델을 사용하여 농경 내장 피질체가 간섭에 대한 예측을 생성하여 가로채기 경험을 정의한다고 가정했다.

2017년, 감정 범주가 생물학적으로 구별된다는 귀납적 개념과는 달리, 바렛(2017년)은 생물학적 감정 범주가 개념 범주인 목표를 공유하는 인스턴스의 축적을 바탕으로 구성된다는 설명인 구성적 감정 이론을 제안했다.^[17][18] 예측 코딩 모델에서, 바렛은 우리의 뇌가 외부 세계가 감각적으로 우리에게 던질 것이라고 예측하는 것과 우리가 어떻게 행동으로 그것에 반응할지를 예측하기 위해, 가로채기에서는 우리의 뇌가 "입방 시뮬레이션"(감각 경험의 완전한 표현)을 활성화함으로써 우리의 몸을 조절한다고 가설을 세운다. 이러한 시뮬레이션은, 우리의 두뇌의 예측에 기초하여, 우리가 실제로 외부 세계에서 일어나는 일에 대해 잘 준비한다면, 혹은 외부 세계에서 실제로 일어나는 일과 우리가 얼마나 잘 준비했는지를 비교해서 그들의 실수를 보상하도록 조정될 것이다. 그런 다음, 시행착오 조정 과정에서 우리의 몸은 어떤 성공적인 예상 시뮬레이션들 사이에서 목표의 유사성을 발견하고 그것들을 개념 범주 아래 함께 분류한다. 새로운 경험이 발생할 때마다, 우리의 뇌는 과거의 시행착오 조정 이력을 사용해 새로운 경험을 가장 유사성을 공유하는 누적 보정 시뮬레이션 범주 중 하나에 일치시킨다. 그리고 나서, 그들은 그 범주의 수정된 시뮬레이션을 나머지 경험을 위한 우리의 몸을 준비하려는 희망에서 새로운 경험에 적용한다. 그렇지 않다면, 다음번에는 정확도가 더 높을 것이라는 희망으로 예측, 시뮬레이션, 그리고 아마도 개념 범주의 경계를 수정하고, 그 과정은 계속된다. Barrett은 x-like 경험에 대한 특정 범주의 시뮬레이션에 대한 예측 오류를 최소화할 때, 어떤 결과가 x-like 경험마다 신체가 재현하게 되는 보정 정보 시뮬레이션이며, 결과적으로 감각 경험의 전체적 표현인 감정에 대한 보정 정보 시뮬레이션이라는 가설을 세운다. 이런 의미에서 바렛은 우리의 뇌가 새로운 경험을 비교하기 위해 사용하는 개념 범주 프레임워크가 이동 중에 구축되고, 활성화하기 위해 적절한 예측 감각 시뮬레이션을 선택하기 때문에 우리의 감정을 구성하자고 제안한다.

과제들

기계론적 이론으로서 예측 코딩은 생리학적으로 뉴런 수준에 대해 계획되지 않았다. 이 이론의 가장 큰 난제 중 하나는 예측 오류 최소화가 어떻게 작용하는지에 대한 부정확함이었다.^[19] 일부 연구에서 볼드 신호의 증가는 오류 신호로 해석되는 반면 다른 연구에서는 입력 표현상의 변화를 나타낸다.^[19] 해결해야 할 중요한 질문은 정확히 오류 신호를 구성하는 것과 각 정보 처리 수준에서 어떻게 계산되는가 하는 것이다.^[20] 또 다른 난제는 예측 코딩의 컴퓨터 처리 능력이다. Kwisthout과 van Rooyj에 따르면, 예측 코딩 프레임워크의 각 레벨의 서브컴퓨팅은 잠재적으로 계산적으로 난해한 문제를 숨길 수 있으며, 이는 계산 모델러들이 아직 극복하지 못한 "난해할 수 있는 장애물"에 해당한다.^[21] 랜섬과 파젤푸어(2015)는 "예측 코딩 이론의 세 가지 문제"를 나타낸다.^[22]

향후 연구는 예측 코딩의 신경생리학적 메커니즘과 계산 모델을 명확히 하는 데 초점을 맞출 수 있을 것이다.^{[according to whom?]}

참고 항목

참조