잘린 뉴턴 방법

Truncated Newton method

헤시안 프리 최적화라고도 알려진 잘린 뉴턴 방법은 많은 수의 독립 변수를 가진 비선형 함수를 최적화하기 위해 설계된 최적화 알고리즘 계열이다.[1] 잘린 뉴턴 방법은 함수의 매개변수에 대한 업데이트를 결정하기 위해 뉴턴 방정식을 대략적으로 해결하기 위해 반복 최적화 알고리즘을 반복적으로 적용하는 것으로 구성된다. 내부 용해기가 잘린 경우, 즉 제한된 반복 횟수 동안만 실행된다. 잘린 뉴턴 방법이 작동하려면 내부 해결사가 제한된 반복 횟수로 양호한 근사치를 생성해야 한다는 것을 따른다.[2] 결합 구배는 후보 내부 루프로서 제안되고 평가되었다.[1] 또 다른 전제조건은 내부 알고리즘에 대한 좋은 전제조건이다.[3]

참조

  1. ^ a b Martens, James (2010). Deep learning via Hessian-free optimization (PDF). Proc. International Conference on Machine Learning.
  2. ^ Nash, Stephen G. (2000). "A survey of truncated-Newton methods". Journal of Computational and Applied Mathematics. 124 (1–2): 45–59. doi:10.1016/S0377-0427(00)00426-X.
  3. ^ Nash, Stephen G. (1985). "Preconditioning of truncated-Newton methods" (PDF). SIAM J. Sci. Stat. Comput. 6 (3): 599–616.

추가 읽기

  • Grippo, L.; Lampariello, F.; Lucidi, S. (1989). "A Truncated Newton Method with Nonmonotone Line Search for Unconstrained Optimization". J. Optimization Theory and Applications. 60 (3). CiteSeerX 10.1.1.455.7495.
  • Nash, Stephen G.; Nocedal, Jorge (1991). "A numerical study of the limited memory BFGS method and the truncated-Newton method for large scale optimization". SIAM J. Optim. 1 (3): 358–372. CiteSeerX 10.1.1.474.3400.


Stub icon

이 응용 수학 관련 기사는 단조롭다. 위키피디아를 확장하여 도울 수 있다.