퀵프로프

Quickprop은 뉴턴의 방법에서 영감을 받은 알고리즘을 따라 ^[1]인공 신경망의 최소 손실 함수를 결정하기 위한 반복적인 방법이다.때로는 알고리즘을 제2순서 학습법 그룹으로 분류하기도 한다.손실 함수가 국소적으로 거의 정사각형이라는 가정 하에 이전 구배 단계와 현재 구배의 2차 근사치를 따르며 위로 열린 포물선을 사용해 설명하려고 한다.포물선의 정점에서 최소값을 찾는다.이 과정은 그것이 적용되는 인공 뉴런의 국소적인 정보만을 필요로 한다.$k{\displaystyle }$ ${\displaystyle k}$ -th$$ 근사 단계는 다음을 통해 주어진다.

${\displaystyle \Delta ^{(k)}\,w_{ij}=\Delta ^{(k-1)}\,w_{ij}\left({\frac {\nabla _{ij}\,E^{(k)}}{\nabla _{ij}\,E^{(k-1)}-\nabla _{ij}\,E^{(k)}}}\right)}$

$w{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle j_{}}$ ${\$인 $경우{\displaystyle }$, i ${\displaystyle i$} $입력$과 E ${\displaystyle$E}의 $뉴런{\displaystyle }$ j ${\displaysty j}$ 가중치가$$ 손실$$ 함수다.

Quickprop 알고리즘은 오류 백프로파게이지 알고리즘을 구현한 것이지만, 네트워크는 스텝 크기가 커서 학습 단계에서 차오틱하게 동작할 수 있다.

참조

참고 문헌 목록

• 스콧 E.팔만:백프로포메이션 네트워크의 학습속도에 관한 실증적 연구, 1988년 9월