알로펙스

ALOPEX('패턴 EXtraction의 알고리즘'의 약자)는 Tzanakou와 Harth가 1974년에 처음 제안한 상관 기반 기계 학습 알고리즘이다.

원칙

기계 학습에서 목표는 비용 함수 또는 (ALOPEX를 참조) 응답 함수를 최소화하기 위해 시스템을 훈련하는 것이다.역전파와 같은 많은 훈련 알고리즘은 반응 함수의 국소 최소값 또는 최대값에서 "고장"되기 쉽다.ALOPEX는 반응 함수의 절대 최소(또는 최대)에 도달하기 위해 이를 극복하기 위해 차이의 상호 상관 관계와 확률적 과정을 사용한다.

방법

ALOPEX는 가장 단순한 형태로 업데이트 방정식으로 정의됩니다.

$\displaystyle \Delta \W_{ij}(n)=\gamma \Delta \W_{ij}(n-1)\Delta \R(n)+r_{i}(n)}$

장소:

$n\geq 0$ 0 { $display style$ n \ $geq$ 0 $n\geq 0$ }은 $n\geq 0$ 반복 또는 시간 스텝입니다.
$\Delta \ W_{ij}(n)$ W $\Delta \ W_{ij}(n)$ j ( $n ){$ $displaystyle$ \ $Delta$ \ $W_$ ${$ $ij$ $\ W_{ij}$ $}($ n $\Delta \ W_{ij}(n)$ )}는 n{ $displaystyle$ $n$ n}의 반복시 시스템 $\ W_{ij}$ 의 $\ W_{ij}$ 값과 이전 값의 차이입니다 $.$
$\Delta \ R(n)$ ( $n ){ display$ \ $Delta$ \ $R$ ( n $\Delta \ R(n)$ )는 $\Delta \ R(n)$ $R$ 의 현재 값과 이전 값 사이의 차이입니다 $.\ displaystyle$ \ $\ R,$ R , }은 $\ R,$ 반복 n { \displaystyle $n$ n } $。$
${\$ { $displaystyle$ \ gamma $\gamma$ }는 $\gamma$ 학습률 $(\gamma \ <0$ 입니다( $(\gamma \ <0$ < 0 \ displaystyle ( \ gamma $(\gamma \ <0$ $\gamma \ >0$ \ $0$ ) $\gamma \ >0$ $R\ )$ 0 $、$ > 0 、 \ $\gamma \ >0$ $displaystyle$ R $R\ )$ $）$ $R\ )$ 。
$\displaystyle r_{i}(n)\sim \ N(0,\sigma \^{2})}$

논의

기본적으로 ALOPEX는 각 $\Delta$ $W_{ij}(n)$ $W_{ij}(n)$ ( $W_{ij}(n)$ $n$ $)\displaystyle W_{ij$ $}($ $n$ $W_{ij}(n-1)$ 를 $W_{ij}(n)$ $\Delta$ 변수 $\Delta$ δ의 $\Delta$ 변경 $($ $W_{ij}(n-1)$ - $W_{ij}(n-1)$ )\ $displaystyle W_{ij}(n-1$ 의 곱에 따라 변경합니다 $.$ $e$ R $(n$ 및 학습률 $\gamma$ {\ {\ $displaystyle \gamma$ 또한 절대 최소값(또는 최대값)을 구하기 위해 $r_{ij}(n)$ $r_{ij}(n)$ r i $r_{ij}(n)$ ( $n)$ { $displaystyle r_{ij}($ n)(가우스 또는 기타)를 추가하여 로컬 최소값에서 알고리즘을 확률적으로 "푸시"한다.