Rprop

Rprop
확률적 구배 강하 δ RMSProp과 혼동해서는 안 된다.

Rprop은 탄력적인 역전파의 줄임말이며, 피드포워드 인공 신경망의 지도 학습을 위한 학습 휴리스틱이다.이것은 1차 최적화 알고리즘입니다.이 알고리즘은 1992년 [1]마틴 리드밀러와 하인리히 브라운에 의해 만들어졌다.

맨해튼 업데이트 규칙과 유사하게, Rprop은 모든 패턴(규모가 아님)에 대한 부분 도함수 부호만 고려하며 각 "무게"에 대해 독립적으로 작용합니다.각 가중치에 대해 전회의 반복과 비교하여 총오류함수의 부분도함수의 부호변화가 있었을 경우 해당 가중치의 갱신값에는 계수 θ를− 곱한다.여기서− 전회의 반복이 같은 부호를 생성했을 경우 갱신값에는 계수 θ를++ 곱한다.여기서 > 1을 곱한다.업데이트 값은 위의 방법으로 각 체중에 대해 계산되며, 마지막으로 각 체중은 전체 오차 함수를 최소화하기 위해 해당 체중의 부분 도함수와 반대 방향으로 자체 업데이트 값에 의해 변경됩니다.θ는 경험적으로 1.2로−, θ는 0.[citation needed]5로 설정된다+.

RPROP는 배치 갱신 알고리즘입니다.캐스케이드 상관 알고리즘과 Levenberg-Marquardt 알고리즘에 이어 Rprop은 가장 빠른 무게 갱신 메커니즘 [citation needed]중 하나입니다.

바리에이션

Martin Riedmiller는 RPROP라는 이름의 세 가지 알고리즘을 개발했습니다. Igel과 Hüsken은 여기에 이름을 할당하고 새로운 변형을 [2]추가했습니다.

  1. RPROP+는 빠른 역전파 학습을 위한 직접 적응 방식으로 정의됩니다. RPROP [4]알고리즘
  2. RPROP-는 다계층 퍼셉트론의 고급 지도 학습에서 정의됩니다. 즉, 백프로파게이션에서 적응형 학습 알고리즘까지입니다.RPROP+[5]에서 백트래킹이 삭제되었습니다.
  3. iRPROP-는 Rprop – Description and Implementation[6] Details에 정의되어 있으며 Igel과 Hüsken에 의해 [3]재창조되었습니다.이 변형은 매우 인기 있고 가장 단순합니다.
  4. iRPROP+는 Rprop Learning Algorithm 개선에서 정의되며 매우 견고하고 일반적으로 다른 세 가지 변형보다 [2][3]빠릅니다.

레퍼런스

  1. ^ Martin Riedmiller und Heinrich Braun : Rprop - 빠른 적응 학습 알고리즘.1992년 컴퓨터 및 정보과학 국제심포지엄 제7회 개최
  2. ^ a b 크리스티안 이겔과 마이클 휘스켄입니다Rprop 학습 알고리즘의 개선.제2회 신경계산 국제심포지엄(NC 2000), 115-121페이지, ICSC Academic Press, 2000
  3. ^ a b c 크리스티안 이겔과 마이클 휘스켄입니다개선된 Rprop 학습 알고리즘의 경험적 평가Neuro Computing 50:105-123, 2003
  4. ^ 마틴 리드밀러와 하인리히 브라운입니다보다 빠른 역전파 학습을 위한 직접 적응 방식: Rprop 알고리즘IEEE 국제신경망회의, 586-591, IEEE Press, 1993년
  5. ^ 마틴 리드밀러.다층 퍼셉트론에서의 고도의 지도 학습 - 역방향 전파에서 적응형 학습 알고리즘까지.컴퓨터 표준 및 인터페이스 16(5), 265-278, 1994
  6. ^ 마틴 리드밀러.Rprop – 설명 및 구현 상세.테크니컬 리포트, 1994

외부 링크