대칭 순위 1

SR1(Symmetric Lop 1) 방법은 2포인트에서 계산된 파생상품(경도)을 바탕으로 2차 파생상품(Hessian)을 업데이트하는 준뉴턴 방식이다.다차원적 문제에 대한 제2차적 방법에 대한 일반화다.이 업데이트는 매트릭스의 대칭을 유지하지만 업데이트가 양적으로 확실하다고 보장하지는 않는다.

SR1 방법에 의해 생성된 헤시안 근사 순서는 이론상 가벼운 조건 하에서 진정한 헤시안에게 수렴된다. 실제로 SR1 방법에 의해 생성된 대략적인 헤시안들은 예비 수치 실험에서 인기 있는 대안(BFGS 또는 DFP)을 하는 것보다 진정한 헤시안 쪽으로 더 빠른 진전을 보인다.^[1]^[2]SR1 방법은 희박하거나 부분적으로 분리할 수 있는 문제에 대한 계산상의 이점을 가지고 있다.^[3]

연속적으로 두 번 다를 수 $x\mapsto f(x)$ 함수 x $x\mapsto f(x)$ $x\mapsto f(x)$ ( $x\mapsto f(x)$ ) $x\mapsto f(x)$ {\ $displaystyle$ x\ $mapsto$ f $(x)}$ 에 $\nabla f$ ( $\nabla f$ f ${\displaystyle \nabla$ $f$ $\nabla f$ 이 있고 $x\mapsto f(x)$ 헤시안 매트릭스 $B$ ${\$ $displaystyle$ B $}$ $B$ : f} $함수$ f는 x $x_{0}$ 에서 테일러 시리즈로 확장되어 잘릴 수 있다 $f$ $x_{0}$

{\displaystyle f(x_{0}+\Delta

T}\Delta x+{\frac {1}{1}:{2}}\Delta x^{

T}{B}\Delta x}

;

그것의 구배는 또한 테일러 시리즈 근사치를 가지고 있다.

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

(

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

0

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

+

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

x

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

)

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

(

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

)

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

+

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

x

{\displaystyle \nabla f(x_{0}+\Delta x)\약간 \nabla f(x_{0})+B\Delta

x

\nabla f(x_{0}+\Delta x)\approx \nabla f(x_{0})+B\Delta x

$B$ $B$ 업데이트에 사용된다 $B$ 위의 이등분에는 고유한 솔루션 B $B$ 이(가) 필요하지 않다 $B$ SR1 공식은 (1등급 업데이트를 통해) 현재 대략적인 값 $B_{k}$ k ${\$ 에 가장 근접한 대칭 솔루션을 계산한다 $B_{k}$

{\displaystyle B_{k+1}=B_{k}+{\frac {(y_{k}-B_{k}\Delta x_{k})(y_{k}-B_{k}\Delta x_{k})^

{T}{{T}}{{k}-B_{k}\Delta x_{k}^{{

T}\Delta x_{k

어디에

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

=

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

f

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

(

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

k

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

+

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

x

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

) -

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

( x

y_{k}=\nabla f(x_{k}+\Delta x_{k})-\nabla f(x_{k})

)

{\displaystyle y_{k}=\nabla f(x_{k}+\delta x_{k}-\nabla

f

(x_{k

대략적인 역-Hesian $H_{k}=B_{k}^{-1}$ k = $H_{k}=B_{k}^{-1}$ k - $H_{k}=B_{k}^{-1}$ {\ $displaystyle H_{k}=B_{k}^{-1}$ 에 해당하는 업데이트는 다음과 같다 $H_{k}=B_{k}^{-1}$ .

{\

H_{k}+{\frac {(\Delta x_{k}-H_{k}y_{k})(\Delta x_{k}-H_{k}y_{k}})^

{T}{{T}{{Delta x_{k}-H_{k}y_{k}}}^{{k}}}}^{{

T}y_{k

SR1 공식은 여러 번 재발견되었다.단점은 분모가 사라질 수 있다는 것이다.일부 저자는 다음과 같은 경우에만 업데이트를 적용할 것을 제안했다.

\Delta x_{k}^{T}(y_{k}-B_{k}\Delta x_{k}) \geq r\ \Delta x_{k}\ \cdot \ y_{k}-B_{k}\Delta x_{k}\

,

여기서 $r\in (0,1)$ $r\in (0,1)$ ( $r\in (0,1)$ 1 $r\in (0,1)$ ) $r\in (0,1)$ 은 $r\in (0,1)$ (는) 작은 숫자(예: $10^{-8}$ - 8 ${\$ ^[4]

참고 항목

참조

^ Conn, A. R.; Gould, N. I. M.; Toint, Ph. L. (March 1991). "Convergence of quasi-Newton matrices generated by the symmetric rank one update". Mathematical Programming. Springer Berlin/ Heidelberg. 50 (1): 177–195. doi:10.1007/BF01594934. ISSN 0025-5610.
^ Khalfan, H. Fayez; et al. (1993). "A Theoretical and Experimental Study of the Symmetric Rank-One Update". SIAM Journal on Optimization. 3 (1): 1–24. doi:10.1137/0803001.
^ Byrd, Richard H.; et al. (1996). "Analysis of a Symmetric Rank-One Trust Region Method". SIAM Journal on Optimization. 6 (4): 1025–1039. doi:10.1137/S1052623493252985.
^ Nocedal, Jorge; Wright, Stephen J. (1999). Numerical Optimization. Springer. ISBN 0-387-98793-2.

[CGT-1] Conn, A. R.; Gould, N. I. M.; Toint, Ph. L. (March 1991). "Convergence of quasi-Newton matrices generated by the symmetric rank one update". Mathematical Programming. Springer Berlin/ Heidelberg. 50 (1): 177–195. doi:10.1007/BF01594934. ISSN 0025-5610.

[2] Khalfan, H. Fayez; et al. (1993). "A Theoretical and Experimental Study of the Symmetric Rank-One Update". SIAM Journal on Optimization. 3 (1): 1–24. doi:10.1137/0803001.

[3] Byrd, Richard H.; et al. (1996). "Analysis of a Symmetric Rank-One Trust Region Method". SIAM Journal on Optimization. 6 (4): 1025–1039. doi:10.1137/S1052623493252985.

[4] Nocedal, Jorge; Wright, Stephen J. (1999). Numerical Optimization. Springer. ISBN 0-387-98793-2.

[1]

[2]

[3]

[4]

Search

대칭 순위 1

네임스페이스

더

참고 항목

참조