소뇌 모델 조음 제어 장치

Cerebellar model articulation controller
단일 조인트에 대한 CMAC 시스템의 블록 다이어그램입니다.벡터 S는 모든 조인트에 입력으로 표시됩니다.각 조인트는 S->A*매핑과 조인트 액튜에이터 신호 pi를 별도로 연산한다.모든 조인트에 대한 조정 가능한 중량은 동일한 물리적 [1]메모리에 존재할 수 있습니다.

소뇌모델산술컴퓨터(CMAC)는 포유동물 소뇌의 모델에 기초한 신경망의 일종이다.그것은 또한 소뇌 모형 관절 제어기로도 알려져 있다.이것은 연상 [2]메모리의 일종입니다.

CMAC는 1975년[1] James Albus에 의해 로봇 컨트롤러의 기능 모델러로 처음 제안되었지만 강화 학습 및 기계 학습 커뮤니티의 자동 분류에 광범위하게 사용되어 왔다.CMAC는 퍼셉트론 모델의 확장입니다.n 입력 치수에 함수를 계산합니다.입력 공간은 각각 메모리 셀과 관련된 하이퍼 직각으로 나뉩니다.메모리 셀의 내용은 훈련 중에 조정되는 체중입니다.보통 입력 공간의 양자화 중 하나 이상이 사용되므로 입력 공간의 어떤 점이 다수의 하이퍼 직각, 따라서 다수의 메모리 셀과 관련지어집니다.CMAC의 출력은 입력점에 의해 활성화된 모든 메모리 셀의 가중치 대수합입니다.

입력점의 값이 변화하면 활성화된 하이퍼 직각 집합이 변화하고, 따라서 CMAC 출력에 참여하는 메모리 셀 집합이 변화한다.따라서 CMAC 출력은 분산된 방식으로 저장되며 입력 공간 내의 임의의 포인트에 대응하는 출력은 다수의 메모리셀(따라서 이름 연상 메모리)에 저장되어 있는 값에서 도출됩니다.이를 통해 일반화가 제공됩니다.

구성 요소

CMAC, 2D 공간으로 표시

인접한 영상에서는 CMAC에 2D 공간으로 표시되는 2개의 입력이 있습니다.두 개의 양자화 함수를 사용하여 이 공간을 두 개의 겹치는 그리드로 분할했습니다(하나는 더 무거운 선으로 표시).중앙 부근에 1개의 입력이 표시되어 음영 영역에 대응하는 2개의 메모리 셀이 활성화됩니다.표시된 지점과 가까운 곳에서 다른 지점이 발생할 경우 동일한 메모리 셀 중 일부를 공유하여 일반화를 제공합니다.

CMAC는 입력 포인트와 출력 값의 쌍을 제시하고 출력에서 관찰된 오류의 비율에 따라 활성화된 셀의 가중치를 조정함으로써 훈련됩니다.이 간단한 트레이닝 알고리즘에는 [3]컨버전스 증명서가 있습니다.

초직각의 가장자리에 떨어지는 [4]점이 중심 부근에 있는 점보다 더 작은 활성화를 가지도록 초직각에는 커널 함수를 추가하는 것이 일반적입니다.

CMAC를 실제로 사용할 때 거론되는 주요 문제 중 하나는 필요한 메모리 크기이며, 이는 사용된 셀의 수와 직접 관련이 있습니다.이것은 보통 해시 함수를 사용하여 개선되며 입력에 의해 활성화되는 실제 셀에만 메모리 스토리지를 제공합니다.

원스텝 컨버전스 알고리즘

CMAC의 가중치를 업데이트하기 위해 처음에는 최소 평균 제곱법(LMS)을 사용한다.CMAC 훈련에 LMS를 사용하는 컨버전스는 학습 속도에 민감하며, 이로 인해 격차가 발생할 수 있습니다.2004년에는 [5]CMAC를 온라인으로 훈련시키기 위해 RLS 알고리즘이 도입되었습니다.학습 속도를 조정할 필요가 없습니다.그 수렴은 이론적으로 증명되었으며 한 번에 수렴할 수 있음을 보장할 수습을 보장할 수 있습니다.이 RLS 알고리즘의 계산 복잡도는 O(N3)입니다.

CMAC 뉴럴 네트워크의 병렬 파이프라인 구조
왼쪽 패널: 실제 기능, 오른쪽 패널: 파생 모델 포함 CMAC 근사

하드웨어 구현 인프라스트럭처

QR 분해를 바탕으로 알고리즘(QRLS)이 O(N) 복잡도로 더욱 단순화되었습니다.따라서 메모리 사용량과 시간 비용을 크게 줄일 수 있습니다.이 알고리즘의 실장에 관한 병렬 파이프라인 어레이 구조가 [6]도입되었습니다.

전체적으로 QRLS 알고리즘을 이용함으로써 CMAC 뉴럴 네트워크 컨버전스를 보장할 수 있으며, 한 단계의 트레이닝을 통해 노드의 가중치를 갱신할 수 있다.병렬 파이프라인 어레이 구조는 대규모 산업용 하드웨어에 구현될 수 있는 큰 잠재력을 제공합니다.

연속 CMAC

CMAC 수용 필드 함수의 직사각형 모양은 B 스플라인 함수와 CMAC를 통합함으로써 불연속 계단 함수 근사치를 생성하므로 연속 CMAC는 근사 함수의 도함수 순서를 구하는 기능을 제공한다.

딥 CMAC

최근 몇 년 동안 여러 개의 얕은 구조를 하나의 깊은 구조로 쌓음으로써 전체 시스템이 더 나은 데이터 표현을 달성하고, 따라서 비선형 및 고복잡도 태스크를 더 효과적으로 처리할 수 있다는 것이 수많은 연구에서 확인되었다.2018년에는 [7]심층 CMAC(Deep CMAC) 프레임워크가 제안되었고 DCMAC 매개변수를 추정하기 위한 역전파 알고리즘이 도출되었다.적응형 소음 제거 작업의 실험 결과에 따르면 제안된 DCMAC는 기존의 단일 계층 CMAC와 비교할 때 더 나은 소음 제거 성능을 달성할 수 있다.

요약

확장성 수백만 개의 뉴런까지 쉽게 확장 가능
컨버전스 훈련은 항상 한 단계로 수렴할 수 있습니다.
함수 파생상품 B 스플라인 보간법을 사용하여 쉽게 얻을 수 있습니다.
하드웨어 구조 병렬 파이프라인 구조
메모리 사용량 뉴런 수에 대한 선형
계산의 복잡성 O(N)

「 」를 참조해 주세요.

레퍼런스

  1. ^ a b J.S. 앨버스(1975)."조작기 제어에 대한 새로운 접근법: 소뇌 모델 관절 제어기(CMAC)"입력: 트랜스 ASME, Series G. Journal of Dynamic Systems, Measurement and Control, Vol. 97, 페이지 220–233, 1975.
  2. ^ J.S. 앨버스(1979년)."두뇌의 계획과 문제 해결 메커니즘"입력: 수리 바이오사이언스.제45권, 247293쪽, 1979년
  3. ^ Y. Wong, CMAC 학습은 단일 매개 변수, IEEE 국제 신경 네트워크 컨퍼런스, 샌프란시스코, Vol.1, 페이지 1439-43, 1993에 의해 관리된다.
  4. ^ PCE 앤, WT 밀러, PC공원, 소뇌 모델 관절 제어기를 위한 연상 기억의 설계 개선, Pro.ICANN, 1207-10페이지, 1991.
  5. ^ 팅친 등「RLS에 근거한 CMAC의 학습 알고리즘」19.1(2004) : 49-61.
  6. ^ a b 팅친 등"연속 CMAC-QRLS 및 그 수축기 어레이"Neural Processing Letters 22.1 (2005) : 1 ~16 。
  7. ^ * Yu Tsao 등"심층 소뇌 모델 조음 컨트롤러를 이용한 적응형 소음 제거." IEEE 액세스 Vol.6, 페이지 37395 - 37402, 2018.

추가 정보

외부 링크