스파스 분산 메모리.

스파스분산메모리(SDM)는 펜티 카네르바가 1988년 NASA 에임스 연구소에 재직하던 중 선보인 인간 장기기억의 수학적 모델이다.긴(예: 1,000비트) 이진 워드에 대한 일반화된 RAM(Random-Access Memory)이다.이 단어들은 메모리에 대한 주소와 데이터 둘 다 역할을 한다.메모리의 주요 속성은 유사성에 대한 민감성인데, 이는 단어가 원래 쓰기 주소를 주는 것뿐만 아니라 단어와 가까운 주소를 주는 것(즉, 메모리 주소 사이의 해밍 거리)으로 측정하여 다시 읽을 수 있다는 것을 의미한다.^[1]

SDM은 인간의 기억 속에 있는 인코딩 프로세스와 유사하게 분산된 데이터 표현과 스토리지를 사용하여 논리적 공간에서 물리적 공간으로의 변환을 구현한다.^[2]논리 주소에 해당하는 값은 많은 물리적 주소에 저장된다.이러한 저장 방법은 견고하며 결정론적이지 않다.메모리 셀은 직접적으로 다루어지지 않는다.입력 데이터(논리적 주소)가 부분적으로 손상되더라도 우리는 여전히 정확한 출력 데이터를 얻을 수 있다.^[3]

기억의 이론은 수학적으로 완전하며^[1] 컴퓨터 시뮬레이션으로 검증되었다.고차원 공간의 점들 사이의 거리가 인간의 기억 속에 있는 개념들 사이의 근접 관계를 닮았다는 관찰에서 비롯되었다.그 이론은 또한 그것을 바탕으로 한 기억들이 기존의 랜덤 액세스 메모리 요소들로 구현될 수 있다는 점에서 실용적이다.^[4]

정의

인간의 기억력은 '불똥은 빨갛고 사과는 빨갛다'^[5]는 등 그 유사점을 바탕으로 기억을 모는 경향이 있다(연관되지 않을 수도 있지만).희소분산기억은 인간의 기억을 수학적으로 표현한 것으로, 인간 신경망의 기억을 모방한 대량의 기억을 모형화하는 데 도움을 주기 위해 고차원 공간을 이용한다.^[6][7]이처럼 높은 치수 공간의 중요한 특성은 무작위로 선택된 벡터 두 개가 서로 상대적으로 멀리 떨어져 있다는 것으로, 서로 상관관계가 없다는 것을 의미한다.^[8]SDM은 지역성에 민감한 해싱의 실현으로 간주될 수 있다.

SDM 뒤에 숨겨진 기본 아이디어는 거대한 이진 메모리를 소위 하드 위치라고 불리는 작은 물리적 위치 집합에 매핑하는 것이다.일반적인 지침으로서, 그러한 하드 위치는 가상 공간에 균일하게 분포되어야 하며, 가능한 한 큰 가상 공간의 존재를 정확하게 모방해야 한다.모든 기준점은 일련의 하드 위치에 의해 분산되어 저장되며, 그러한 위치의 평균을 통해 검색된다.따라서 기억의 포화도에 따라 정확도, 리콜이 완벽하지 않을 수도 있다.

카네르바의 제안은 네 가지 기본 사상에 바탕을 두고 있다.^[9]

• 1. 부울 공간${\displaystyle }${ ${\displaystyle 0,}$ ${\displaystyle 1}$ ${\displaystyle n^{}}$ ${\$ 또는 < $<\$는 개념들$간$의 관계에 대한 $인간의$직관적인 개념과 유사한 속성을 보여준다.각 메모리 항목이 n비트 벡터로 저장되는 언급된 공간의 포인트로 데이터를 저장하는 것이 타당하다는 의미다.
• 2. n입력이 있는 뉴런은 무작위 액세스 메모리의 주소 해독기로 사용할 수 있다.
• 3. 통일원리: 메모리에 저장된 데이터를 동일한 메모리의 주소로 사용할 수 있다.두 지점 사이의 거리는 두 메모리 항목 사이의 유사성을 측정하는 척도다.점이 가까울수록 저장된 벡터는 유사하다.
• 4. 데이터를 사건 순서에 따라 정리하면 데이터가 저장되는 위치의 함수로 기억에서 시간을 추적할 수 있다.

이진 공간 N

SDM은 이진 구성요소가 있는 n차원 벡터와 함께 작동한다.상황에 따라 벡터를 점, 패턴, 주소, 단어, 메모리 항목, 데이터 또는 이벤트라고 부른다.이 섹션은 대부분 벡터 공간 N =${\displaystyle }${ ${\displaystyle 0,}$ ${\displaystyle 1}$ ${\displaystyle {}^{}}$ ${\displaystyle n^{}}$ ${\$의 속성에 관한 것이다$.$ n은 공간의 치수 수로 하자.포인트 수, 즉 가능한 메모리 항목은 ${\displaystyle {2n}^{}}$ ${\$ 2$^{n$ N으로 표시하며 N과 ${\displaystyle {2n}^{}}$ ${\$ 2$^{n}$을 사용하여$$ 공간 자체를 나타낼 것이다.^[3]

공간 관련 개념 N: { ${\displaystyle 0},{\displaystyle 1}$ ${\displaystyle {}^{}}$ ${\displaystyle n^{}}$ ${\$^[3]

• 원점, 0: 모든 좌표가 0인 점을 원점, 0 = 000...00.
• 보완, 'x: 점 x의 보완 또는 반대는 x가 0을 갖는 n-투플이고 그 반대는 x가 0을 갖는 n-투플이다.
• Norm, x : 점 x의 표준은 이항 표현에 있는 점의 수입니다.
• 차이, x - y: 두 점 x와 y의 차이는 x와 y가 다르고 다른 곳에 0이 있는 n-투플이다.그것은 비트의 '독점적 또는'이다: x - y = x ⊕ y.차이: x - y = y - x
• 거리, d(x, y) 두 점 x와 y 사이의 거리는 x와 y가 다른 차원의 수입니다.해밍 거리(그 제곱근은 유클리드 거리)라고 하며, 비트로 표현된다.거리는 차이의 표준: d(x, y) = x - y
• 간격, x:y:z:x에서 y까지의 거리가 x에서 y까지의 거리 및 y에서 z까지의 거리의 합인 경우에만 y는 x와 z 지점 사이에 있다. 즉, x:y:z ⇔ d(x, z) = d(x, y) + d(y, z)이다.중간 지점의 모든 부분이 해당 엔드포인트 비트의 복사본임을 쉽게 알 수 있다.
• 직교성, x ⊥ y: 점 x는 점 y에 직교하거나, 두 점 사이의 거리가 치수 수의 절반인 경우에만 직교하거나 무관심하다: x ⊥ y y d(x, y) = n/2.n/2 거리를 공간 N의 무관심 거리라고 한다. x가 y와 직교하는 경우, 그 보완물 'y(x는 y와 y의 중간)에도 직교한다.
• 원, O(r,x) 반지름 r과 중심 x가 있는 원은 x에서 최대 r비트가 되는 점들의 집합이다: O(r,x) = {y d(x, y) ≤ r}.

N:${\displaystyle }${ ${\displaystyle 0,}$ ${\displaystyle 1}$ ${\displaystyle {}^{}}$ ${\displaystyle n^{}}$ ${\$ 공간의 속성^[1][3]

공간 N은 n차원 유클리드 공간에서 단위 큐브의 정점으로 나타낼 수 있다.정점은 (유클리드-금속) $반경$이 n /${\displaystyle }$2 ${\displaystyle {\sqrt{n}/2}$인 n차원 구체 표면에 놓여 있어 구면 유추의 원인이 된다$.$만약 그렇다면 우리는 우주 구형을 부를 것이다.

• 1. 임의의 점 x는 'x'와 반대되는 독특한 점을 가지고 있다.
• 2. 전체 공간은 임의의 점 x와 반대쪽 'x' 사이에 있고
• 3. 모든 지점은 "자동화" (어떤 두 지점 x와 y에 대해서도 x와 y를 매핑하는 공간의 자동화를 보존하는 거리가 있다는 의미)로, 그 지점 중 어느 지점에서도 공간이 "동일하게" 유지된다.

구체의 표면(유클리드 3d-공간에서)은 분명히 구면이다.정의에 따르면, y ⊕ x ⊕ (…)는 x와 y를 매핑하는 자동형이기 때문에 N도 구형이다.N은 구형이기 때문에 원주가 2n인 구의 표면이라고 생각하면 도움이 된다.N의 모든 점은 출발점으로 동등하게 적격이며, 한 지점과 그 보완점은 전체 공간을 사이에 두고 서로 n의 거리에 있는 두 개의 극은 서로 n으로부터 떨어져 있다.극과 극의 중간과 그 사이에 수직인 지점은 적도와 같다.

공간 N 분포

임의의 점 x에서 정확히 d비트인 점 수(예: 점 0부터)는 총 n개의 좌표에서 d 좌표를 선택하는 방법의 수로서, 따라서 이항계수: ( ${\displaystyle \genfrac{}{}{0ex}{}{n}{}}$ ${\displaystyle \frac{d}{}}$)${\displaystyle }$= n${\displaystyle \frac{}{}}$! ${\displaystyle \frac{}{}}$! d !${\displaystyle \frac{}{}}$( n -${\displaystyle \frac{d)!}{}}$ ${\$d$}{\d}}={d!}{d!(n-d)!$$}}}$

따라서 N의 분포는 모수 n과 p를 갖는 이항 분포인데 여기서 p = 1/2이다.이항 분포의 평균은 n/2이고, 분산은 n/4이다.이 분포 함수는 N(d)로 표시된다.평균 n/2 및 ${\displaystyle 표준\mathrm{}}$ 편차 $n{\displaystyle \sqrt{}}$/ 2 ${\displaystyle {\sqrt{n}/2}}$의 정규 분포 F는 그에 대한 좋은 근사치$$: N(d) = Pr{d(x, y) ≤ d} F{(d - n / 2)/$n{\displaystyle \sqrt{}}$ / ${\displaystyle \sqrt{4\mathrm{}}}$ ${\$

직교성 경향

N의 뛰어난 특성은 그 대부분이 점(및 그 보완점)에서 평균(추론) 거리 n/2에 있다는 것이다.즉, 대부분의 공간은 주어진 점에 거의 직교하며, n이 클수록 이러한 효과가 뚜렷하게 나타난다.

신경망으로서

SDM은 고전적 무작위 액세스 메모리(RAM)의 콘텐츠 주소 확장 또는 3계층 피드포워드 신경망의 특별한 유형으로 간주될 수 있다.RAM에 대한 주요 SDM 변경 사항:^[10]

• SDM은 기준 주소와 각 위치 주소 사이의 해밍 거리를 계산한다.주어진 반지름보다 작거나 같은 각 거리에 대해 해당 위치가 선택된다.
• 메모리는 단일 비트 저장 요소 대신 카운터(n은 위치 수, m은 입력 데이터 길이)로 표현된다.
• 오버라이드 대신 메모리에 쓰는 것은 다음과 같다.
  • 입력 데이터의 i-비트가 1이면 해당 카운터(선택한 위치(행)와 i-th 열에 표시)가 증가한다.
  • 입력 데이터의 i-비트가 0이면 해당 카운터가 감소한다.
• 메모리에서의 판독(또는 호출)도 유사하다.
  • 선택한 위치의 내용은 열로 요약된다.
  • 각 합은 한계값이다.합계가 임계값보다 크거나 같으면 해당 출력 비트는 1로 설정되며, 반대의 경우 삭제된다.교육용 입력 벡터가 직교 벡터에 닫힌 경우 임계값은 0이 될 수 있다는 점에 유의하십시오.

뉴런 모델

뉴런에 대한 이상적인 설명은 다음과 같다: 뉴런은 덴드라이트와 액손의 두 가지 종류의 가지를 가진 세포체를 가지고 있다.덴드라이트(dendrite)를 통해 다른 뉴런으로부터 입력신호를 수신하고 이를 통합(sums)하며 액손(axon)을 통해 외부 뉴런으로 전송되는 자체(전기) 출력신호를 생성한다.뉴런들 사이의 전기 접촉점을 시냅스라고 한다.

뉴런이 신호를 생성할 때 그것은 발포하고 있고 발포한 후에 다시 발포하기 전에 회복되어야 한다.뉴런의 발화에 대한 시냅스의 상대적 중요성을 시냅스 중량(또는 입력 계수)이라고 한다.시냅스에는 뉴런을 발화시키는 흥분제와 발화를 방해하는 억제제가 있다.뉴런은 그것의 액손이 만드는 시냅스의 종류에 따라 흥분하거나 억제된다.^[11]

뉴런은 입력의 합이 특정 임계값을 초과할 때 발화한다.문턱이 높을수록 흥분성 시냅스가 입력하는 반면 억제성 시냅스는 입력하지 않는 것이 더 중요하다.^[12]복구된 뉴런이 실제로 발화하는지는 일정 기간 내에 충분한 흥분 입력을 받았는지(기준치 초과)와 억제 입력을 너무 많이 받지 않았는지에 달려 있다.

뉴런의 공식 모델은 가정을 더욱 단순화시킨다.^[13]n입력 뉴런은 다음과 같이 선형 임계값 $함수$ :{ - >{ ${\displaystyle$ F$:\{0,1\}^{n}-}\{0,1\}}}}$에 의해 모델링된다.

For ${\displaystyle i=0,...,n-1}$ where n is the number of inputs, let ${\displaystyle F_{t}}$ be the output at time t: ${\displaystyle F_{t}\in \{0,1\}}$, and let ${\displaystyle x_{i,t}}$ be the i-th input at time t: ${\displaystyle$$x_{i,t}\in \{0,1$ $w{\displaystyle {}_{}}$ ${\$을(를) i번째 입력의 무게로 하고$$ $c{\displaystyle }$ ${\displaystyle c}$을(를) 임계값으로$$ 한다.

시간 t의 입력값의 가중 합계는 ${\displaystyle S_{}}$ t${\displaystyle {}_{}}$= ${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{i}}}$= ${\displaystyle \underset{}{\overset{}{0}}}$ ${\displaystyle \underset{}{\overset{}{}}}$- ${\displaystyle \underset{}{\overset{}{1}}}$ ${\displaystyle w_{}}$ ${\displaystyle {i,}_{}}$ ${\displaystyle t_{}}$ ${\$에 의해 정의된다.

시간 t에서의 뉴런 출력은 부울 함수로 정의된다.$displaystyle \mathbf {F} _{t}={\begin{case}1&{\text{{{}}}}=c,\0&{\text}}}}.$$\end{case}}}$

여기서 F_t=1은 뉴런이 제때에 발화하지 않는 것을 의미하며, F=0은 뉴런이 발화하지 않는 것을 의미한다_t. 즉, 뉴런이 발포하기 위해서는 가중 총량이 임계치에 도달하거나 초과해야 한다. 흥분 입력은 총량을 증가시키고 억제 입력은 이를 감소시킨다.

주소 결정기로서의 뉴런

Kanerva의 핵심 thesis[1]은 특정 신경 세포와 투입 계수의 n-tuple(그 패턴을 신경 세포를 더욱 쉽게 반응하)은 n비트 메모리 주소를 결정하 주소 디코더로 사용했던 입력 계수 및 역치 생물체의 전체 수명 기간 동안 고칠 수 있고 문턱 시의 지역의 크기를 제어한다.밀.ar는 뉴런이 반응하는 패턴을 나타낸다.

이 메커니즘은 신경망에서 조정 가능한 시냅스 또는 조정 가능한 가중치(수신론 융합 학습)를 보완한다. 이 고정 접근 메커니즘은 정보가 저장되고 주어진 상황에서 검색되는 시냅스를 선택할 수 있는 영구적인 기준 틀이 될 수 있기 때문이다.게다가, 현 상황의 인코딩은 주소 역할을 할 것이다.

입력 계수가 w ${\displaystyle {0\mathrm{}}_{}}$,${\displaystyle }$. , w n 1 $displaystyle w_{0},$ .., $w_{n_{1}}$인 뉴런의 주소 a는 가중 합계를 최대화하는 n비트 입력 패턴으로 정의된다$$.최대값은 억제 입력이 0이고 흥분 입력이 0일 때 발생한다.i번째 주소는 다음과 같다.

$displaystyle \mathbf {a} _{i}={\case}1&{\text{{w_{i}}0,\0&{\text}{{{$$w_}}}.$$\end{case}}}($반복 가중치는 0이 아님)

${\displaystyle \mathrm{최대}}$ 가중 합계 $S{\displaystyle }$( w${\displaystyle }$) ${\displaystyle S(w)}$은 모든 양의 계수의 합이다: S( w)= > ${\$ S$(w)=\sum _{w_{i}0}w_{i}}}}}}.$

그리고 최소 ${\displaystyle \mathrm{가중}}$ 합계 $s{\displaystyle }$( w${\displaystyle }$) ${\displaystyle s($$)}$은 뉴런 어드레스 a"의 반대편에 있는 점에 해당할 것이다$$: ( w)= i< ${\$ s($w)=\sum _{w_{i}w_${i$}}}}}}}$

임계값 c가 범위 ()< < (w) ${\displaystyle s(w)(w)}$에 $있을 때$ 뉴런의 출력은 일부 주소(입력 패턴)의 경우 0이고 다른 주소의 경우 1이다.임계값이 S보다 높으면 출력이 항상 0이고, s보다 낮으면 출력이 항상 1이다.그래서 문지방의 적절한 선택에 의해 뉴런은 단지 하나의 주소에만 반응한다.임계값이 S(가중량의 최대치)일 때, 뉴런은 자신의 주소에만 반응하고 기존의 무작위 액세스 메모리의 주소 해독기와 같은 작용을 한다.

메모리 위치

SDM은 방대한 주소 공간에 걸쳐 있는 주소 패턴에 대처하도록 설계되었다(주문: 2 $(\$ 2$^{1000}).$SDM은 실제 관심 물리적 상황을 설명하는 주소 패턴이 입력 공간 전체에 희박하게 흩어져 있다고 가정한다.각각의 가능한 입력에 해당하는 별도의 물리적 위치를 예약하는 것은 불가능하다; SDM은 제한된 수의 물리적 또는 하드 위치만 구현한다.물리적 위치를 메모리(또는 하드) 위치라고 한다.^[4]

모든 하드 위치는 두 가지 항목과 연관되어 있다.

• 위치의 N비트 주소인 고정 하드 주소
• M비트 폭의 콘텐츠 부분과 그 위치에 쓰여진 여러 개의 M비트 데이터 패턴을 축적할 수 있는 부분.내용물의 부분은 고정되어 있지 않다; 그것은 메모리에 쓰여진 데이터 패턴에 의해 수정된다.

SDM에서는 단어를 자유 저장 위치에 쓰는 동시에 해당 위치에 적절한 주소 디코더를 제공하여 메모리에 저장할 수 있다.주소 해독기로서 뉴런은 검색 큐에 대한 위치 주소의 유사성에 기초하여 위치를 선택할 수 있다.기존의 튜링 기계와는 달리, SDM은 주소 디코더에 의한 병렬 컴퓨팅을 이용하고 있다.메모리에 접근하는 것 만으로도 컴퓨터라고 여겨지는데, 메모리 크기에 따라 그 양이 늘어난다.^[1]

주소 패턴

메모리에 쓰고 메모리에서 읽을 때 사용되는 N비트 벡터.주소 패턴은 환경 상태에 대한 암호화된 설명이다.(예: N = 256).

데이터 패턴

쓰기 및 읽기 작업의 대상인 M비트 벡터.주소 패턴과 마찬가지로, 그것은 환경 상태에 대한 코드화된 설명이다.(예: M = 256).

글쓰기

쓰기는 특정 주소 패턴을 이용해 데이터 패턴을 메모리에 저장하는 작업이다.쓰기 중에 메모리에 대한 입력은 주소 패턴과 데이터 패턴으로 구성된다.주소 패턴은 주소 패턴에서 특정 컷오프 거리 내에 하드 주소가 있는 하드 메모리 위치를 선택하는 데 사용된다.데이터 패턴은 선택된 각 위치에 저장된다.

독서

판독은 특정 주소 패턴을 사용하여 메모리에서 데이터 패턴을 검색하는 작업이다.읽기 중에 주소 패턴은 쓰기 중과 마찬가지로 특정 개수의 하드 메모리 위치를 선택하는 데 사용된다.M비트 데이터 패턴을 도출하기 위해 선택한 위치의 내용을 비트로 요약하고 임계값을 지정한다.이것은 메모리에서 읽은 출력의 역할을 한다.

포인터 체인

모든 항목은 메모리 위치에 대한 포인터의 단일 목록(또는 배열)에 연결되고 RAM에 저장된다.배열의 각 주소는 메모리의 개별 행을 가리킨다.그 선은 다른 선과 비슷할 경우 반환된다.뉴런은 뇌에서 뉴런이 작용하는 방식과 유사한 어드레스 디코더와 인코더로 활용되며, 일치하거나 유사한 배열에서 아이템을 반환한다.

임계 거리

카네르바의 메모리 모델은 중요한 지점의 개념을 가지고 있다: 이 지점 이전에는 이전에 저장된 항목을 쉽게 검색할 수 있지만, 이 지점 이후에는 항목을 검색할 수 없다.카네르바는 특정한 (고정) 매개변수 집합에 대해 이 점을 체계적으로 계산했다.희소 분산 메모리의 해당 임계 거리는 d${\displaystyle d}$ N ${\displaystyle d\in N}$ 및$$ d${\displaystyle d}$ n ${\displaystyle d\leqslant$ n$}$의 제한으로 다음 방정식을 최소화하는 것으로 대략적으로 평가할 수 있다$.$증거는 다음에서 찾을 수 있다.^[14][15]

${\displaystyle {\tilde{f}=\{\frac {1}{1}:{1}\cdot \왼쪽[1-N\left)(z<{\frac {w\cdot shared(d)}{\sqrt{\tea}}\}\right)++N\left(z<{\frac {-w\cdot shared(d)}{\sqrt {\theta }}\right]-{\frac {d}{n}\right\}^{2}}$

위치:

• ${\displaystyle d}$ $[\displaystyle d}$: 대상과의 거리;
• ${\displaystyle h}$ ${\displaystyle h}$: 읽기 및 쓰기 작업 중에 활성화되는 하드 드라이브 수입니다(이 값은 액세스 반지름 값에 따라 다름).
• ${\displaystyle s}$ ${\displaystyle s}$: 메모리에 저장된 총 비트스트링 수입니다.
• ${\displaystyle H}$ ${\displaystyle H}$: 메모리에 있는 하드 로케이션 수입니다.
• ${\displaystyle w}$ ${\displaystyle w}$: 대상 비트 문자열이 메모리에 쓰여진 횟수
• ${\displaystyle \theta }$ ${\displaystyle \theta$ : 읽기 작업에 의해 활성화된 $모든{\displaystyle }$ h ${\displaystyle h$} 하드 디스크의$$ 무작위 비트스트링의 합계;
• ${\displaystyle s}$ ${\displaystyle h}$ a ${\displaystyle r}$ e ${\displaystyle d}$( ${\displaystyle d}$) ${\displaystyle shared(d)}$: 서로 떨어져 있는 두 비트스트링 $d{\displaystyle }$ ${\displaystyle d}$비트에$$ 의해 활성화된 공유 하드 트립의 평균 수입니다.1000차원 SDM에 대한 값은 카네르바의 저서 표 7.1, 페이지 63 또는 같은 책의 부록 B, 페이지 125의 SDM에 대한 계산 방정식에서 찾을 수 있다.

확률론적 해석

희박하고 분산된 표현을 사용한 연상기억 시스템은 베이지안 추론에 근접한 몬테카를로 방법인 중요도 샘플러로 재해석될 수 있다.^[16]SDM은 다차원 조건부 확률 적분에 대한 몬테카를로 근사치로 간주할 수 있다.SDM은 이 근사치가 유효할 때, 즉, 훈련 세트에 기초적인 관절 확률을 충분히 추정할 수 있는 충분한 데이터가 포함되어 있을 때, 그리고 적분의 정확한 추정치를 얻기에 충분한 몬테카를로 표본이 있을 때, 훈련 세트로부터 허용 가능한 응답을 산출할 것이다.^[17]

생물학적 신뢰성

스파스 코딩은 기억 용량을 증가시키기 위한 신경 시스템의 일반적인 전략일 수 있다.자신의 환경에 적응하기 위해서, 동물들은 어떤 자극이 보상이나 처벌과 연관되어 있는지 배우고 이러한 강화 자극과 유사하지만 무관한 자극들을 구별해야 한다.그러한 과제는 모집단 중 소수의 뉴런만이 주어진 자극에 반응하고 각 뉴런은 가능한 모든 자극 중에서 몇 개의 자극에만 반응하는 자극 특유의 연상기억을 구현해야 한다.

카네르바의 SDM에 관한 이론적 연구는 희소 코딩이 표현들 사이의 중첩을 줄임으로써 연관 기억의 용량을 증가시킨다는 것을 시사했다.실험적으로 시각,^[18] 오디션,^[19] 터치,^[20] 후각 등 많은 시스템에서 감각 정보의 희박한 표현이 관찰되었다.^[21]그러나 스파스 코딩이 널리 퍼지고 있다는 증거와 그 중요성에 대한 이론적 주장이 축적되고 있음에도 불구하고 스파스 코딩이 연상기억의 자극특성을 향상시킨다는 데모는 최근까지 부족했다.

2014년 옥스퍼드대 게로 미센보크 연구소가 드로소필라 올팍토리 시스템을 분석하면서 일부 진전이 있었다.^[22]드로소필라에서는 버섯 본체의 케니언 세포에 의한 희박한 냄새 코딩이 냄새 특정 기억의 저장을 위해 정확하게 어드레싱할 수 있는 많은 장소를 발생시키는 것으로 생각된다.린 외 연구진은 첨사성이 케년 세포와 GABAergic 전방 쌍방향(APL) 뉴런 사이의 음성 피드백 회로에 의해 제어된다는 것을 입증했다.^[23]이 피드백 회로의 각 다리의 체계적 활성화와 봉쇄는 케니언 셀이 APL을 활성화하고 APL이 케니언 셀을 억제한다는 것을 보여준다.케니언 셀-APL 피드백 루프를 방해하면 케니언 셀 악취 반응의 스파스성이 감소하고, 악취 간 상관관계가 증가하며, 파리가 유사하지만 서로 다른 냄새를 구별하는 법을 배우지 못하게 된다.이러한 결과는 피드백 억제가 케년 세포 활동을 억제하여 희박하고 장식적인 냄새 코딩과 그에 따라 기억의 냄새 특이성을 유지한다는 것을 시사한다.2017년 사이언스지의^[24] 한 간행물은 플라이 후각 회로가 희박하고 무작위적인 투영을 통해 이항 국소 민감 해싱의 개선된 버전을 구현한다는 것을 보여주었다.

양자기계해석

양자 중첩은 어떤 물리적 시스템도 그 가능한 모든 상태에 동시에 존재하며, 그 수는 시스템을 구성하는 실체의 수가 기하급수적이라고 말한다.중첩 위치에서 가능한 각 상태의 존재 강도(즉, 측정될 경우 관측될 확률)는 확률 진폭 계수로 나타낸다.이러한 계수가 서로 물리적으로 분리되어 표현되어야 한다는 가정, 즉 국소적으로 양자 이론/양자 계산 문헌에서는 거의 보편적이다.또는, 브랜다이스 대학의 Gerard Linkus가 최근에 제안한 바와 같이,^[25] 이러한 계수는 Kanerva의 SDM 설계와 인라인으로 스파스 분산 표현(SDR)을 사용하여 나타낼 수 있다. 여기서 각 계수는 전체 대표 단위 모집단의 작은 부분 집합으로 표현되며 하위 집합이 중복될 수 있다.

특히 전체 모집단이 Q 군집으로 구성되어 있고, 각각 K 이항 단위를 가지고 있는 SDR 모델을 고려한다면, 각 계수는 군집당 1개씩 Q 단위 집합으로 표현된다.그런 다음 계수의 대표성 R(X)이 시간에 활성하는 Q 단위의 집합인 X가 R(Y)과 R(X)의 교차점 크기에 해당하는 다른 모든 상태 Y의 최대 확률과 확률을 갖는 것을 고려할 수 있다.따라서 R(X)은 특정 상태 X의 표현과 모든 상태에 대한 확률 분포로서 동시에 기능한다.주어진 코드(예: R(A))가 활성화되면 모델에 저장된 다른 모든 코드도 R(A)와의 교차점에 비례하여 물리적으로 활성화된다.따라서 SDR은 설정된 교차로 크기에 의해 확률 진폭이 직접 및 암묵적으로 표현되는 양자 중첩의 고전적인 실현을 제공한다.추가 표현이 저장될 때 새로운 표현을 저장(학습)하고 가장 가까운 매칭 저장 표현을 찾는 데 걸리는 시간(확률론적 추론)이 일정하게 유지되는 알고리즘이 존재한다면 이는 양자 컴퓨팅의 기준을 충족시킬 것이다.(^[25]양자 인식 및 양자 연관 메모리도 참조)

적용들

기억의 응용에서 단어는 특징의 패턴이다.어떤 특징들은 감각 시스템에 의해 만들어지고 다른 특징들은 운동 시스템을 조절한다.시스템 포커스의 현재 내용인 전류 패턴(예: 1000비트)이 있다.센서는 포커스에 공급되고 모터는 포커스에서 구동되며 메모리는 포커스를 통해 액세스된다.

세계에서 일어나는 일, 즉 시스템의 "주관적" 경험은 포커스에서 일련의 패턴으로 내부적으로 표현된다.메모리는 이 시퀀스를 저장하며, 과거에 만난 패턴과 유사한 패턴으로 주소를 지정하면 나중에 포커스에서 재생성할 수 있다.그래서 기억은 무슨 일이 일어날지 예측하는 법을 배운다.메모리의 광범위한 적용은 실제 정보를 실시간으로 다루는 시스템에 있을 것이다.

응용 프로그램에는 한 장면에서 물체를 감지 및 식별하고 후속 장면을 예상하는 시각(로봇, 신호 감지 및 검증, 적응 학습 및 제어)이 포함된다.이론적인 측면에서, 기억의 작용은 인간과 동물에서의 기억과 학습을 이해하는 데 도움을 줄 수 있다.^[4][26]

베스트 매치 검색

저장 워드의 데이터 집합에서 테스트 워드와 가장 일치하는 단어를 찾는 문제에 SDM을 적용할 수 있다.^[1][27]또는 다른 말로 하면 가장 가까운 이웃 검색 문제.

$N{\displaystyle }$= ${\displaystyle {2n}^{}}$ ${\$n}}이 있는 N 위치 메모리를 생각해 보십시오$.$ 각 위치에는 n비트 워드의 용량이 있고(예: N¹⁰⁰= 2 100비트 워드), 주소 디코딩은 N 주소 디코더 뉴런에 의해 수행되도록 하십시오.각 뉴런 x의 임계값을 최대 가중 합계 ${\displaystyle x}$ $displaystyle$x$}$로 설정하고$$ 공통 파라미터 d를 사용하여 메모리에 액세스할 때 모든 임계값을 조정하십시오.그런 다음 뉴런 x의 유효 $임계값$은 x${\displaystyle }$- ${\displaystyle d}$ ${\displaystyle \{\backslash }$d $디스플레이 스타일 x-d }$이(가) 될 것이며, 이는 주소 x가 메모리에 표시된 주소의 d비트 내에 있을 때마다 위치 x에 접근할 수 있음을 의미한다(즉, 주소 레지스터가 보유하는 주소).$d{\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle d=0}$을(를) 사용하면 일반적인 랜덤 액세스 메모리를 갖게 된다.또한 각 위치에는 일반 기준점과 동일한 방식으로 액세스할 수 있는 특수 위치 점유 비트가 있다고 가정하십시오.위치에 단어를 쓰면 이 위치 사용 비트가 설정된다.점유된 위치만 읽을 수 있다고 가정한다.

데이터를 메모리에 저장하려면 $d{\displaystyle }$= ${\displaystyle n}$ ${\displaystyle d=n}$을(를) 설정하고 위치$$ 사용 비트를 지우는 명령을 실행하십시오.이 한 번의 조작은 주소 레지스터의 값에 관계없이 모든 메모리가 비어 있는 것으로 표시한다.그런 다음 $d{\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle d=0}$을(를) 설정하고$$ y 자체를 주소로 데이터 집합의 각 단어 y를 쓴다.각 쓰기 작업은 위치 y라는 한 위치에만 영향을 준다는 점에 유의하십시오.따라서 파일링 시간은 데이터 집합의 단어 수에 비례한다.

시험 단어 z에 가장 적합한 단어를 찾는 것은 주소 레지스터에 z를 넣고 사용 중인 위치가 있는 최소 거리 d를 찾는 것을 포함한다.$d{\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle d=0}$을(를) 설정하고$$ 점유 위치가 발견될 때까지 d를 연속적으로 증가시켜 검색을 시작할 수 있다.이 방법은 가장 가까운 점유 위치가 z에서 $n{\displaystyle }$/ 2 ${\displaystyle$ n$/2}$비트$$ 바로 아래에 있을 것으로 예상할 수 있기 때문에$$^[1] 주소 $비트{\displaystyle }$ ${\displaystyle 수}$에 비례하거나 n ${\displaystyle /}$ 2 {\$displaystyle$ $n$$/2}$보다 약간 적은 평균 검색 시간을 제공한다(d에 이진 검색은 O(log(n)가 될 것이다).

100비트 단어로 2개의¹⁰⁰ 위치, 즉 엄청나게 큰 메모리가 필요할 것이다.그러나 데이터 집합의 단어를 저장할 때 메모리를 구성하려면 데이터 집합의 각 단어에 대해 하나의 위치(및 하나의 주소 디코더)만 있으면 된다.비어 있는 장소 중 어떤 곳도 존재할 필요가 없다.이것은 SDM에서 sparsity의 측면을 나타낸다.

음성인식

SDM은 구어의 큰 말뭉치에 대한 "듣기"로 구성되는 훈련으로 변환 스피치에 적용할 수 있다.자연 언어의 두 가지 어려운 문제는 단어 경계를 감지하는 방법과 다른 화자에 적응하는 방법이다.기억은 두 가지 모두를 처리할 수 있어야 한다.첫째, 그것은 패턴의 순서를 포인터 체인으로 저장한다.훈련에서 - 말을 들을 때 - 그것은 단어 경계에서 분기 발생률이 가장 높은 확률적 구조를 구축할 것이다.말을 옮겨쓰는데 있어서, 이러한 분기점들은 감지되고, 그 흐름을 단어에 해당하는 부분으로 나누는 경향이 있다.둘째로, 유사성에 대한 기억의 민감성은 다른 스피커와 같은 스피커의 음성의 변화에 적응하기 위한 메커니즘이다.^[4]

"잊는 것을 깨닫는 것"

붕괴 함수

지수 붕괴 함수 부정 변환 S자형 함수

시드니 K의 우마 라마무르시 멤피스 대학에서.드멜로와 스탠 프랭클린은 "잊는 것을 실현하는 것"을 나타내는 희박한 분산 메모리 시스템의 변형된 버전을 만들었다.데이터 간섭을 더 잘 보여주기 위해 붕괴 방정식을 사용한다.희소 분산 메모리 시스템은 각 패턴을 위치의 약 100분의 1로 분산시켜 간섭이 해로운 결과를 초래할 수 있다.^{[clarification needed][28]}

이 수정된 스파스 분산 메모리에서 붕괴의 두 가지 가능한 예가 제시되어 있다.

${\displaystyle 지수}$ 붕괴 메커니즘: ${\displaystyle \mathrm{f}}$( ${\displaystyle x}$)${\displaystyle }$= 1${\displaystyle }$+ ${\displaystyle {}^{}}$- ${\displaystyle x^{}}$ ${\$

$부정{\displaystyle }$ 변환 s자형 붕괴 메커니즘: ${\displaystyle \mathrm{f}}$( ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle 1\frac{\mathrm{}}{}}$-${\displaystyle \frac{{}^{}}{}}$+ ${\displaystyle \frac{e^{}}{}}$- a (${\displaystyle \frac{x^{}}{}}$- c${\displaystyle \frac{{}^{}}{}}$) ${\displaystyle \frac{{}^{}}{}}$ ${\displaystyle f(x)=1-[{\frac {1}{1+e^{-a(x-c)}}}}}}}$

지수 붕괴함수에서는 x가 증가할수록 0에 더 빨리 접근하며, a는 상수(보통 3-9)이고 c는 카운터다.부정 변환 sigmoid 함수의 경우, a가 4보다 클 때 붕괴는 지수 붕괴 함수와 유사하다.^[28]

그래프가 0에 가까워질 때, 그것은 붕괴 메커니즘을 사용하여 기억이 어떻게 잊혀지고 있는지를 나타낸다.

유전적 희소 분산 메모리

The University of Memphis의 Ashraf Anwar, Stan Franklin, Dipankar Dasgupta; Genetic Algorithm and Genetic Programming(1999년)을 이용한 SDM 초기화 모델을 제안했다.

유전적 기억은 유전 알고리즘과 희박한 분산 기억을 사이비 인공신경망으로 사용한다.그것은 인공 생명체를 만드는 데 쓰일 것으로 여겨져 왔다.^[29]

통계예측

SDM은 극도로 큰 지각 상태 벡터를 미래 사건과 연관시키는 과제인 통계 예측에 적용되었다.모델의 연관 메모리 동작이 분해되는 근용량 또는 과용량의 조건에서, 모델에 의해 수행되는 처리는 통계적 예측 변수의 처리로 해석될 수 있으며, SDM의 각 데이터 카운터는 이항 함수의 조건부 확률 f가 활성과 동일하다는 독립된 추정치로 볼 수 있다.카운터의 메모리 위치에 의해 정의된 ^[30]ation

인공지능

• LIDA는 생물학적 시스템에서 인지 모델링을 돕기 위해 희박한 분산 메모리를 사용한다.희박하게 분산된 메모리 공간은 다른 물체와 관련하여 가지고 있는 물체를 불러오거나 인식하고 있다.그것은 "실현하는 망각" 변형 희소 분산 메모리 시스템을 만든 스탠 프랭클린에 의해 개발되었다.^[31]일시적인 성공적 기억과 선언적 기억은 LIDA(SDM의^[32] 변형된 버전에 기초함)에 표현을 분산시켰으며, 신경계에서도 이 같은 현상이 나타난다는 증거가 있다.^[33]
• CMatie는 멤피스 대학 수학과에서 세미나 발표를 관리하기 위해 개발된 '의식적인' 소프트웨어 에이전트다.유전자 알고리즘을 연상기억으로 사용하면서 증강된 SDM을 기반으로 한다.^[34]
• 계층적 임시 메모리는 데이터의 희박한 분산 표현을 저장하는 데 SDM을 이용한다.

(SDM 관련 프로젝트 목록은 인지 아키텍처 및 인공지능도 참조)

강화학습

SDM은 매우 큰/고차원 입력(주소) 공간을 훨씬 작은 물리적 메모리에 매핑해야 할 때 작동하도록 설계된 선형 로컬 함수 근사 체계를 제공한다.일반적으로, 포함된 로컬 아키텍처, SDM은 일부 표적 함수가 최악의 경우 입력 공간 전체에 걸쳐 정확히 근사치해야 하는 기하급수적인 수의 로컬 단위를 필요로 할 수 있기 때문에 치수성의 저주를 받을 수 있다.그러나 대부분의 의사결정 시스템은 국가 공간의 저차원 다지관, 즉 중요한 상태의 "고속도로"^[35]를 중심으로만 높은 정확도를 필요로 한다는 것이 정설이다.라치치 등의 작업은 ^[36]SDM 메모리 모델과 메모리 기반 학습의 아이디어를 결합하여, "더 흥미로운"^[37] 상태 공간의 영역을 찾아내고 이를 정확하게 모델링하기 위해 비례적으로 더 많은 메모리 자원을 할당하기 위해 구조와 해상도를 역동적으로 조정할 수 있는 근사치를 제공한다.

컴퓨터 비전에서의 객체 색인화

다나 H. 발라드 연구소는^[38] 주성분 분석의 미덕과 고차원 공간의 호감 있는 매칭 특성을 결합해 고정밀 인식을 달성하는 컴퓨터 비전용 범용 객체 인덱싱 기법을 시연했다.인덱싱 알고리즘은 수정된 형태의 SDM과 함께 능동적인 비전 시스템을 사용하며, 물체의 외관과 그 정체성 사이의 연관성을 학습할 수 있는 플랫폼을 제공한다.

확장

예를 들어, SDM에 대한 많은 확장 및 개선이 제안되었다.

• 3차 메모리 공간:이를 통해 이 메모리를 인지 소프트웨어 에이전트에서 과도기적 기억장치(TEM)로 사용할 수 있다.TEM은 특정 시간과 장소의 특징을 가진 이벤트에 사용되는 높은 특수성과 낮은 보존성을 가진 메모리다.^[39][40]
• 이진 벡터 대신 모듈식 산술 정수 벡터를 사용하는 정수 SDM.이 확장은 메모리의 표현 능력을 향상시키고 정상화에 대해 더 강력하다.망각 및 신뢰성 있는 시퀀스 스토리지를 지원하기 위해 확장할 수도 있다.^[8]
• 주소 벡터보다 큰 크기의 단어 벡터 사용:이 확장은 원래 SDM의 바람직한 특성 중 많은 부분을 보존한다: 자동 연관성, 컨텐츠 주소 지정성, 분산 스토리지 및 소음이 많은 입력에 대한 견고함.또한 새로운 기능을 추가하여 나무와 같은 다른 데이터 구조뿐만 아니라 벡터 시퀀스의 효율적인 자동 연관 저장도 가능하게 한다.^[41]
• 스파이킹 뉴런에서 SDM 구성:SDM의 생물학적 유사성에도 불구하고, 지금까지 그것의 능력을 증명하기 위해 수행된 대부분의 작업은 뇌에서 뉴런의 실제 행동을 추상화하는 고도로 인공적인 뉴런 모델을 사용해 왔다.맨체스터^[42][43][44] 대학의 스티브 퍼버 연구소에 의한 최근 연구는 예를 들어 뉴런의 집단이 정보를 암호화하는 방법에 N-of-M 등급 코드를^[45][46] 통합함으로써 SDM에 대한 적응을 제안했는데, 이것은 생물학적으로 그럴듯한 구성 요소로부터 SDM 변형을 만드는 것을 가능하게 할 수 있다.이 작업은 인간 두뇌 프로젝트를 위한 뉴로모픽 컴퓨팅 플랫폼으로 사용되고 있는 SpiNaker(Spiking Neural Network Architecture)에 통합되었다.^[47]
• 위치의 랜덤하지 않은 분포:^[48][49]저장 위치는 처음에 2진수 N 주소 공간에 무작위로 분포하지만, 위치의 최종 분포는 제시된 입력 패턴에 따라 달라지며, 따라서 더 나은 유연성과 일반화가 가능할 수 있다.데이터 패턴은 먼저 입력 주소에 가장 가까운 위치에 저장된다.신호(예: 데이터 패턴)는 메모리 전체로 확산되며, 신호 강도의 작은 백분율(예: 5%)은 각각의 후속 위치에서 손실된다.이러한 방식으로 신호를 분배하면 원래 SDM의 문제적 특징 중 하나인 선택적 읽기/쓰기 반지름이 필요하지 않다. 쓰기 작업에서 선택한 모든 위치에는 이제 동일한 강도의 원래 이진 패턴의 복사본이 제공되지 않는다.대신, 그들은 (카네르바의 SDM의 이진 카운터가 아닌) 실제 가치 카운터 (1.0->0.05의 실제 값으로 가중된 패턴의 복사본을 받는다.이는 가장 가까운 위치에 더 큰 신호 강도를 부여하며, 신호 강도를 감쇠시키기 위해 SDM의 자연 아키텍처를 사용한다.유사하게 기억에서 판독할 때, 가장 가까운 위치에서의 출력물은 더 먼 위치에서의 출력보다 더 큰 가중치가 주어진다.새로운 신호방법은 위치의 적합성을 측정하는 척도로서 어떤 위치에 의해 수신되는 총 신호 강도를 사용할 수 있도록 하며 다양한 입력에 유연하다(다른 길이의 입력 패턴에 대해 손실 계수를 변경할 필요가 없기 때문이다).
• SDMSCue(Sparse Distributed Memory for Small Cues):The University of Memphis의 Ashraf Anwar & Stan Franklin은 2002년에 작은 단서들을 처리할 수 있는 SDM의 변종, 즉 SDMSCue를 도입했다.핵심 아이디어는 여러 개의 읽기/쓰기 및 공간 투영을 사용하여 연속적으로 더 긴 큐에 도달하는 것이다.^[50]

관련특허

• 희소 분산 메모리 시스템 미국 5113507 A, 대학 우주 연구 협회, 1992년^[51]
• Kanerva 메모리 시스템 US 5829009 A, 텍사스 인스트루먼트, 1998년^[52] 정보 저장 및 호출 방법 및 장치
• 디지털 메모리, 퍼버, 스티븐US 7512572 B2, 2009^[53]
• 희소분포를 이용한 시간적 메모리 표현 US 20110225108 A1 Numenta, 2011^[54]

실행

• C Binary Vector 기호(CBVS): Luleå Technology University에서 EISLAB가 개발한 벡터 심볼 아키텍처의^[55] 일부로 C에서 SDM 구현을 포함한다. http://pendicular.net/cbvs.php^[56]
• 랭커스터 대학에서 개발한 실시간 센서 데이터 처리를 위한 CommonSense ToolKit(CSTK)에는 C++: http://cstk.sourceforge.net/^[57]의 SDM 구현이 포함되어 있다.
• Brian Hayes에 의한 Julia 구현: https://github.com/bit-player/sdm-julia
• Stan Franklin's laborates of Memphis에 있는 Stan Franklin's lab에서 개발한 LIDA(Learning Intelligent Distribution Agent)는 Java: http://ccrg.cs.memphis.edu/framework.html에서 SDM을 구현하는 것을 포함한다.
• Python 구현: https://github.com/msbrogli/sdm^[59]
• Python 및 OpenCL 구현: https://github.com/msbrogli/sdm-framework^[59]
• APL 구현^[60]
• 연결 시스템에^[61] 대한 LISP 구현
• FPGA 구현^[62]
• NASA가^[4] 개발한 최초의 하드웨어 구현
• NASA Ames의^[63] 첨단 컴퓨터 과학 연구소에서 수행한 C에서의 구현

관련 모델

• 근접한 인접 검색^[64]
• 연상신경기억^[65]
• 자동 연관 메모리
• 이진 스패터 코드^[66]
• 소뇌의 연상기억 모델
• 내용 주소 지정 메모리
• 상관 관계 매트릭스 메모리^[67]
• § 메모리 네트워크 딥러닝
• 동적 메모리 네트워크^[68]
• 피드포워드 신경망
• 계층적 시간 메모리
• 홀로그래피 연상기억
• 홀로그래픽 축소표현^[69][70]
• 저밀도 패리티 검사 코드
• 지역감응 해싱
• 메모리 네트워크^[71]
• 기억력-예측 프레임워크
• 포인터 네트워크^[72][73]
• 랜덤 액세스 메모리(SDM의 특별한 경우)^[6]
• 랜덤 인덱싱^[74]
• 반복 자동 연관 메모리(RAAM)^[75]
• 자기조직지도
• 의미접기^[76]
• 의미 해싱^[77]
• 의미기억법
• 의미망
• 의미 포인터 아키텍처^[78]
• 시퀀스 메모리^[79]
• 스파스 부호화^[80]
• 희소 분산 표현
• 신경 튜링 기계^[81]
• 스택형 오토엔코더^[82]
• 벡터 심볼 아키텍처^[83]
• 벡터 공간 모형
• 가상 메모리

참조