즉각적으로 훈련된 신경망

Instantaneously trained neural networks

즉각적으로 훈련된 신경 네트워크는 각각의 새로운 훈련 샘플에 대해 새로운 숨겨진 뉴런 노드를 생성하는 전방 인공 신경 네트워크다. 이 숨겨진 뉴런에 대한 무게는 이 훈련 샘플뿐만 아니라 그 근처에 있는 다른 샘플들을 분리하여 일반화를 제공한다. [1][2] 이 분리 작업은 즉시 기록할 수 있는 가장 가까운 하이퍼플레인(hyperplane)을 사용하여 수행된다. 가장 중요한 두 가지 구현에서 일반화의 근방은 교육 샘플(CC1 네트워크)에 따라 다르거나 일정하게 유지된다(CC4 네트워크). 이러한 네트워크는 데이터 세트의 효과적인 표현을 위해 단항 코딩을 사용한다.[3]

이러한 형태의 네트워크는 1993년 Subhash Kak의 논문에서 처음 제안되었다.[1] 이후 즉각적으로 훈련된 신경망이 단기 학습의 모델로 제안되어 웹 검색, 금융 시계열 예측 어플리케이션에 이용되고 있다.[4] 그것들은 또한 문서의[5] 즉각적인 분류와 심층 학습과 데이터 마이닝에도 사용되었다.[6][7]

다른 신경망에서와 마찬가지로 이들의 정상적인 사용은 소프트웨어로서 이루어지지만 FPGA를[8] 이용한 하드웨어와 광학 구현에 의해서도 구현되었다.[9]

CC4 네트워크

3단계 네트워크인 CC4 네트워크에서 입력 노드의 수는 훈련 벡터의 크기보다 1개 더 많으며, 추가 노드는 입력이 항상 1인 바이어싱 노드 역할을 한다. 2진수 입력 벡터의 경우 훈련된 벡터에 해당하는 입력 노드에서 숨겨진 뉴런(지수 j의 예)까지의 가중치는 다음과 같은 공식으로 주어진다.

여기서 은 일반화의 반지름이고 은 이진 시퀀스의 해밍 중량(1초 수)이다. 숨겨진 레이어에서 출력 레이어까지 가중치는 벡터가 주어진 출력 클래스에 속하는지 여부에 따라 1 또는 -1이다. 숨겨진 레이어와 출력 레이어의 뉴런은 입력에 가중 합이 0 또는 양이면 1을 출력하고 입력에 가중 합이 음이면 0을 출력한다.

기타 네트워크

CC4 네트워크도 CC1 구현을 효과적으로 제공하기 위해 일반화의 반경이 다양한 비이진 입력을 포함하도록 수정되었다.[10]

피드백 네트워크에서 윌쇼 네트워크와 홉필드 네트워크는 즉각적으로 학습할 수 있다.

참조

  1. ^ a b Kak, S. 훈련 중 신경 네트워크 피드포워드. 프라마나, 40권, 페이지 35-42, 1993 [1]
  2. ^ Kak, S. Feedforward 신경망을 훈련시키기 위한 새로운 알고리즘. 패턴 인식 문자 15: 295-298, 1994.
  3. ^ Kak, S. 신경망에 의한 일반화, 정보과학 111: 293-302, 1998.
  4. ^ Kak, S. 즉각적으로 훈련된 신경 네트워크를 사용하여 웹 검색 및 예측 속도 향상. IEEE 인텔리전트 시스템즈 14: 79-82, 1999년 11월/12월
  5. ^ 장, Z. 외, TextCC: 문서를 즉시 분류할 수 있는 새로운 피드포워드 신경망. 신경망의 발전은 2005년. 컴퓨터 과학 강의 노트 3497: 232-237, 2005.
  6. ^ Zhang, Z. 외, TextCC를 통한 문서 분류 스테레오 투영 및 심층 학습을 위한 기계 학습 및 사이버 네틱스에 관한 국제 회의, Dalin, 2006
  7. ^ Schmidhuber, J. Deep Learning in Neural Networks: 개요, arXiv:1404.7828, 2014 https://arxiv.org/abs/1404.7828
  8. ^ Ju, J., G. Milne, 재구성 가능한 컴퓨팅 플랫폼에 Kak Neural Networks 구현, 컴퓨터 과학 제 1896권의 강의 노트: 260-269, 2000.
  9. ^ Shortt, A, J.G. Keating, L. Moulinier, C.N. Pannell, Kak 신경망의 광학적 구현, 정보과학 171: 273-287, 2005.
  10. ^ 신호 처리를 위한 탕, KW, Kak, S. Fast 분류 네트워크. 회로, 시스템, 신호 처리 21, 2002, 페이지 207-224.