승자독식(컴퓨팅)
Winner-take-all (computing) |
승자독식(winner-take-all)은 한 층의 뉴런이 활성화를 위해 서로 경쟁하는 신경망의 계산 모델에 적용되는 계산 원리이다.고전적인 형태에서, 가장 높은 활성화를 가진 뉴런만이 다른 모든 뉴런들이 정지하는 동안 활동을 계속한다; 하지만, 다른 변형들은 하나 이상의 뉴런들이 활동할 수 있게 한다, 예를 들어, 파워 기능이 뉴런에 적용되는 소프트 승자 테이크올.
뉴럴 네트워크
인공신경망의 이론에서 승자독식 네트워크는 반복신경망의 경쟁학습 사례이다.네트워크 내의 출력 노드는 서로 억제하면서 동시에 재귀 접속을 통해 활성화 됩니다.시간이 지나면 출력 레이어에서 가장 강력한 입력에 대응하는 노드 1개만 활성화됩니다.따라서 네트워크는 비선형 억제를 사용하여 일련의 입력 중 가장 큰 것을 골라냅니다.승자독식(winner-take-all)은 연속 시간 네트워크와 스파이킹 네트워크를 모두 포함하여 다양한 유형의 신경 네트워크 모델을 사용하여 구현할 수 있는 일반적인 계산 프리미티브이다(Grossberg, 1973; Oster 등).2009).
승자독식 네트워크는 뇌의 계산 모델, 특히 피질에서 분산된 의사결정이나 행동 선택을 위해 일반적으로 사용된다.중요한 예로는 계층적 비전 모델(Riesenhuber 등 1999년)과 선택적 주의 및 인식 모델(Carpenter 및 Grossberg, 1987년, Iti 등 1998년)이 있다.또한 인공신경망 및 신경형 아날로그 VLSI 회로에서도 공통적으로 사용됩니다.승자독식 연산이 임계값화(Maass 2000)와 같은 다른 비선형 연산에 비해 계산적으로 강력하다는 것이 공식적으로 증명되었다.
많은 실제 사례에서 유일하게 활성 뉴런이 되는 단일 뉴런이 있을 뿐만 아니라 고정된 숫자 k에 대해 활성화되는 정확히 k개의 뉴런이 있다.이 원리를 k-winners-take-all이라고 합니다.
회선 예
우측에 심플하지만 인기 있는 CMOS 승자독식 서킷을 나타냅니다.이 회로는 원래 Lazzaro et al.(1989)에 의해 약반전 또는 서브임계 상태에서 작동하도록 편향된 MOS 트랜지스터를 사용하여 제안되었다.표시된 특정 경우 입력은 2개(IIN,1 및IN,2 I)뿐이지만 회로를 간단한 방법으로 여러 입력으로 쉽게 확장할 수 있습니다.연속 시간 입력 신호(전류)에 병렬로 작동하며 입력당 2개의 트랜지스터만 사용합니다.또한 바이어스 전류BIAS I은 모든 입력에 공통인 단일 글로벌 트랜지스터에 의해 설정됩니다.
입력 전류 중 가장 큰 전류는 공통 전위C V를 설정합니다.그 결과, 대응하는 출력은 거의 모든 바이어스 전류를 전달하는 반면, 다른 출력은 0에 가까운 전류를 가진다.따라서 회로는 두 입력 전류 중 더 큰 것을 선택합니다. 즉, I > I이면IN,1IN,2 I = IBIASOUT,2 = 0이OUT,1 됩니다. 마찬가지로 I > I이면IN,2IN,1 I = 0이 되고 IOUT,2 = I가BIAS 됩니다OUT,1.
2 입력 케이스의 CMOS 승자독점 회선의 SPICE 베이스의 DC 시뮬레이션을 오른쪽에 나타냅니다.위 하위 그림에 표시된 것처럼 입력IN,1 I은 6nA로 고정되었고, 선형적으로IN,2 0에서 10nA로 증가했습니다.아래쪽 하위구에는 두 개의 출력 전류가 표시됩니다.예상대로 2개의 입력 중 큰 쪽의 출력에 대응하는 출력은 전체 바이어스 전류(이 경우는 10nA)를 전달하여 다른 쪽 출력 전류를 거의 0으로 한다.
기타 용도
스테레오 매칭 알고리즘에서, 샤르스타인 외 연구진(IJCV 2002)에 의해 제안된 분류법에 따라, 승자독식(winner-take-all)은 불균형 계산을 위한 국소적인 방법이다.승자독식 전략을 채택하여 각 화소에서 최소 또는 최대 비용 값과 관련된 차이를 선택한다.
전자상거래 시장에서는 AOL이나 야후 같은 초기 지배주자들이 대부분의 보상을 받는 것은 자명하다.1998년까지[clarification needed] 한 조사에 따르면 상위 5%의 웹사이트가 전체 트래픽의 74% 이상을 획득했습니다.
승자는 일단 테크놀로지나 기업이 앞서나가면 시간이 지남에 따라 점점 더 잘 될 것이고 뒤처진 테크놀로지나 기업은 더 뒤처질 것이라는 모든 가설을 제시합니다.
「 」를 참조해 주세요.
레퍼런스
- G.A. 카펜터와 S.Grossberg, [1] 자기조직화 신경 패턴 인식 머신을 위한 대규모 병렬 아키텍처, "Computer Vision, Graphics, and Image Processing", 1987.
- S. Grossberg, [2] 반향 신경망의 등고선 향상, 단기 기억력 및 항상성, "응용 수학 연구", "52:213", 1973.
- M. 오스터, R. 더글러스, S.-C.Liu, 승자독식 네트워크의 스파이크를 이용한 계산, Neural Computation, 21:9, 2009.
- M. 리센허버와 T.Poggio, 피질에서 물체 인식의 계층적 모델, Nature Neuroscience, 2:11, 1999.
- L. 잇티, C.코흐와 E.Niebur, 신속한 장면 분석을 위한 경도 기반 시각적 주의 모델, IEEE Transactions on Pattern Analysis and Machine Intelligence, 20:11, 1998.
- W. 마스, 승자독식의 계산력에 대하여, 신경계산, 12:11, 2000.
- J. 라자로, S. 라이케부치, M. A. 마호월드와 C.A. Mid, 신경 정보 처리 시스템의 발전 1, Morgan Kaufmann Publishers, San Francisco, CA, 1989에서 O(N) 복잡성의 승자독식 네트워크.또한 John Lazzaro의 웹사이트에서도 온라인으로 이용할 수 있습니다.
- D. Scharstein, R. Szeliski, 고밀도 2프레임 스테레오 대응 알고리즘 분류 및 평가, International Journal of Computer Vision, 47:1, 2002.
