헤시안 행렬

에 대한 일련의 기사의 일부
미적분학.
기본 정리 라이프니즈 적분 규칙 함수의 한계 연속성 평균값 정리 롤의 정리
미분 정의들 파생상품(일반화) 미분 극소수의 함수의. 총계 개념 분화 표기법 제2차 파생상품 암묵적 분화 로그 분화 관련금리 테일러의 정리 규칙 및 ID 합계 제품 체인 힘 지수 라피탈의 법칙 반비례 라이프니즈 장군 파아디 브루노 공식 레이놀즈.
적분 통합 목록 적분 변환 정의들 해독제 적분(불량) 리만 적분 르베그 통합 등고선 통합 역함수의 적분 통합 기준 부품. 디스크 원통 조개 대체(트리거, 위어스트라스, 오일러) 오일러의 공식 부분분수 순서변경 환원공식 통합 기호 아래 차별화 리스치 알고리즘
시리즈 기하학(산술-기하계) 조화 교대로 힘 이항체 테일러 수렴시험 합계한계(기간시험) 비율 뿌리 적분 직접 비교 한계비교 교대계열 코시 응결 디리클레 아벨
벡터 그라데이션 발산 컬 라플라시안 방향파생상품 정체성 정리 그라데이션 그린스 스톡스 발산 일반화 스톡스
다변량 형식주의 매트릭스 텐서 외부 기하학 정의들 부분파생상품 다중 적분 라인 적분 표면 적분 부피 적분 야코비안 헤시안
전문화된 분수 말리아빈 스토카스틱 변형
잡다한 프레살쿨루스 역사 용어집 주제 목록 통합 비 분석
v t

수학에서 헤시안 행렬 또는 헤시안 행렬은 스칼라 값 함수 또는 스칼라 필드의 2차 부분파생물의 제곱 행렬이다. 많은 변수의 함수의 국부 곡면성을 설명한다. 헤시안 매트릭스는 독일의 수학자 루트비히 오토 헤세가 19세기에 개발했고, 후에 그의 이름을 따서 명명되었다. 헤세는 원래 "기능적 결정요소"라는 용어를 사용했다.

정의 및 속성

Suppose ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$ is a function taking as input a vector ${\displaystyle \mathbf {x} \in \mathbb {R} ^{n}}$ and outputting a scalar${\displaystyle f(\mathbf {x} )\in \mathbb {R} .}$ If all second partial derivatives of ${\displa$$ystyle f}$이(가) 존재하며$$ 함수의 도메인에 걸쳐 연속적인 경우, ${\displaystyle f}$의 헤시안 행렬 H ${\$은(는) 제곱 $n{\displaystyle }$ ${\displaystyle \times }$ ${\displaystyle n}$ ${\displaystyle$ n$\times n}$ 행렬이며 일반적으로$$ 다음과$$ 같이 정의 및 배열된다.

또는 지수 i와 j를 사용하여 계수에 대한 방정식을 명시함으로써,

헤시안 행렬은 두 번째 파생상품의 연속성에 대한 가설은 분화의 순서가 중요하지 않다는 것을 내포하고 있기 때문에 대칭 행렬이다(슈워즈의 정리).

헤시안 행렬의 결정 인자를 헤시안 결정 인자라고 한다.^[1]

The Hessian matrix of a function ${\displaystyle f}$ is the Jacobian matrix of the gradient of the function ${\displaystyle f}$; that is: ${\displaystyle \mathbf {H} (f(\mathbf {x} ))=\mathbf {J} (\nabla f(\mathbf {x} )).$$}$

적용들

변곡점

$f{\displaystyle }$ ${\displaystyle f}$이(가) 세 변수의 동종 ${\displaystyle \mathrm{다항식}}$인 경우 $f{\displaystyle }$= 0 ${\displaystyle f=0}$ 방정식은 평면 투영 곡선의 암묵적 방정식이 된다$$. 곡선의 변곡점은 정확히 헤시안 결정요소가 0인 비성악점이다. 헤시안 결정요인은 도 $.[\displaystyle$ 3]의 다항식이기 때문에 입방면 곡선은 $최대{\displaystyle \mathrm{}}$ 9$[\displaystyle 9}$의 변곡점을 갖는다는 것은 베주트의 정리에 따른다$.$$}$

2차분열시험

볼록함수의 헤시안 행렬은 양의 반확정이다. 이 속성을 수정하면 다음과 같이 임계점 $x{\displaystyle }$ ${\displaystyle x}$이(가) 로컬 최대값, 로컬 최소값 또는 안장점인지 테스트할 수 있다.

Hessian이 $x{\displaystyle }$, ${\displaystyle x,}$에서 양수인 경우, $f$ ${\displaystyle$ $f}$은${\displaystyle (}$는) $x{\displaystyle }$${\displaystyle }$, ${\displaystyle x,}$에서 음수인 경우$$, $f$ ${\displaystyle f}$은(는$$) $x{\displaystyle }$. ${\displaystystystyle x.}$에서 격리된 로컬 최대값에 도달한다$$$$.에시안은 양의 고유값과 음의 고유값을 모두 가지고 있고, 그 다음 $x{\displaystyle }$ ${\displaystyle x}$는 $f{\displaystyle .}$ ${\displaystyle f.}$의 안장점이다. 그렇지$$ 않으면 테스트는 결론을 내리지 못한다. 이것은 적어도 국소적 최소에서 헤시안은 양의 반감각형 피니티, 국소적 최대치에서 헤시안은 음의 반감각형 피니티임을 의미한다.

양-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-십-백의 경우, 시험은 결론을 내리지 않는다(헤시안이 반-십-백질이지만 확실하지 않은 임계점은 국소 말단 또는 안장점일 수 있다). 그러나 모스 이론의 관점에서 더 많은 것을 말할 수 있다.

1개 변수와 2개 변수의 기능에 대한 2차 파생 검정은 일반적인 경우보다 간단하다. 한 변수에서 헤시안에는 정확히 1초의 파생상품이 포함되어 있다. 양수일 $경우{\displaystyle }$ x ${\displaystyle$ x$}$이(가) 국소 최소값이고$$ 음수일 $경우{\displaystyle }$x {\$displaystyle$ x$}$이(가$$) 국소 최대값이며, 0일 경우 시험이 결정되지 않는다. 결정요소가 고유값의 산물이기 때문에 두 변수에서 결정요소를 사용할 수 있다. 양수인 경우 고유값은 양수이거나 음수인 것이다. 음수일 경우 두 고유값은 서로 다른 기호를 가진다. 0이면 2차분열검사는 결론에 도달하지 못한다.

동등하게, 국소 최소 또는 최대치에 충분한 2차 조건들은 헤시안의 주요 (최상단-최상단) 미성년자(하위-수단의 결정자)의 순서에 따라 표현될 수 있다. 이러한 조건들은 제한된 최적화를 위해 다음 절에 접해 있는 헤시인들의 특별한 경우다. 제약조건의 수가 0인 경우. 구체적으로는, 이러한 주요 미성년자 모두가 양성이라는 조건인 반면, 최대치를 위한 충분한 조건은 미성년자가 부호를 번갈아 가며, $1{\displaystyle \mathrm{}}$ ${\displaystyle \times }$ $[\displaystyle 1\time 1}$ 소인은$$ 음성이라는 조건이다.

임계점

함수 $f{\displaystyle }$ ${\displaystyle f}$의 그라데이션(부분파생상품의 벡터)이 특정$$ $지점{\displaystyle \mathbf{}}$ x${\displaystyle }$, ${\displaystyle \mathbf$${x},}$에서 0이면 $f$ ${\displaystyle f}$은${\displaystyle (}$또는 정지점) x . ${\$에 임계점($또는{\displaystyle \mathbf{}}$ 정지점)이 있다$$$.$$hbf {x} }$을(를) 어떤 맥락에서 판별이라고 한다. 이 결정 요인이 $0$이면 $f{\displaystyle }$ , ${\$을(를$)$ f의 퇴행 임계점${\displaystyle ,}$ ${\displaystyle f,}$ $또는$ f${\displaystyle .}$ ${\displaystyle f$의 비 Morse $임계점$이라고 한다$$.$}$

헤시안 매트릭스는 그것의 커널과 고유값이 임계점의 분류를 허용하기 때문에 모스 이론과 대재앙 이론에서 중요한 역할을 한다.^[2][3][4]

함수의 임계 지점에서 평가할 때 헤시안 행렬의 결정요인은 다지관으로 간주되는 함수의 가우스 곡률과 동일하다. 그 시점에서 헤시안 고유값은 함수의 원곡선이며, 고유벡터는 곡률의 원곡선 방향이다. (가우스 곡률 § 주 곡률과 관계 참조)

최적화에 사용

헤시안 행렬은 함수의 국소 테일러 팽창의 2차 항 계수이기 때문에 뉴턴 형식 방법 내에서 대규모 최적화 문제에 사용된다. 그것은

여기서 ${\displaystyle \nabla f}$는 그라데이션${\displaystyle \frac{\mathrm{}\mathrm{ff}}{\mathrm{}{}_{}}}$ ${\displaystyle \frac{{x\mathrm{}}_{}}{}}$ 1,${\displaystyle \frac{{}_{}}{}\dots ,\frac{\mathrm{}}{}}$ ${\displaystyle \frac{f}{}}$ ${\displaystyle \frac{{}_{}}{}}$ x n ${\displaystyle )}$이다. ${\displaystyle \left\fltpx_{1},\dots,{\fract$ f$}{\frac${\$frasure x_{n$}}}\}\}\}\}\}\}\}\rig}\$n}\$rig$}\$right.$}}$ 완전한 헤시안 매트릭스를 계산하고$$ 저장하려면 $\theta {\displaystyle \mathrm{}}$(${\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$) ${\$메모리가$$ 필요하며, 이는 신경망, 조건부 무작위 필드 및 많은 수의 파라미터를 갖는 기타 통계적 모델 등의 고차원 기능에 대해서는 실현 불가능하다. 그러한 상황에서 잘린 뉴턴과 준뉴턴 알고리즘이 개발되었다. 후자의 알고리즘 계열은 Hessian에 근사를 사용한다. 가장 인기 있는 유사 뉴턴 알고리즘 중 하나는 BFGS이다.^[5]

이러한 근사치들은 최적화 알고리즘이 선형 $연산자{\displaystyle \mathbf{}}$ H${\displaystyle }$(${\displaystyle v\mathbf{}}$) ,$${\$displaystyle \mathbf {H}(\mathbf {v})$로만 헤시언을 사용한다는 사실을 사용할 수 있으며$$, 먼저 헤시안이 그라데이션의 로컬 확장에도 나타난다는 사실을 알아채고 진행할 수 있다.

${\displaystyle \Delta \mathbf{}}$ x = $r{\displaystyle }$ ${\displaystyle v}$ ${\$ $Delta \mathbf {x} =r\mathbf {v}을($를) 일부 스칼라 r${\displaystyle ,}$ ${\displaystyle r,}$에 대해 허용하면$$ 다음과 같은 결과를 얻을 수 있다.

그것은 따라서 구배가 이미 계산된 경우, 대략적인 헤시안은 선형(구배 크기) 스칼라 연산의 수로 계산할 수 있다. (프로그래밍이 간단하지만$,$ $R{\displaystyle }$ {\$displaystyle r}$은(는) $O{\displaystyle \mathcal{}}$( r${\displaystyle }$) ${\displaystyle {\mathcal{O}}}$의 기간으로 인한 오류를 방지하기 위해 작게 만들어야 하지만$$, 감소하면 첫 번째 기간에는 정밀도가 떨어지기 때문에 이 근사 체계는 수치적으로 안정적이지 않다.)^[6]

기타 응용 프로그램

헤시안 매트릭스는 이미지 처리 및 컴퓨터 시야에서 이미지 처리 연산자를 표현하는 데 일반적으로 사용된다(Hessian(LoG) 블롭 검출기, Hessian(DoH) 블롭 검출기 및 스케일 공간 결정 요인인 가우스(Laplacian of Gaussian(Lob 검출기(Lob Detector) 참조). 또한 헤시안 매트릭스는 적외선 분광법에서 다양한 분자 주파수를 계산하기 위해 정규 모드 분석에서도 사용될 수 있다.^[7]

일반화

접경 헤시안

경계 헤시안(Hesisian)은 제한된 특정 최적화 문제에서 2차 파생 시험에 사용된다. Given the function ${\displaystyle f}$ considered previously, but adding a constraint function ${\displaystyle g}$ such that ${\displaystyle g(\mathbf {x} )=c,}$ the bordered Hessian is the Hessian of the Lagrange function ${\displaystyle \Lambda (\mathbf$${x} ,\mathbf {x}=f(\mathbf {x} )+\mathda [g(\mathbf {x} )-c]:}$

예를 들어, $m{\displaystyle }$ ${\displaystyle$m} 제약조건이$$ 있는 경우 왼쪽 상단 모서리의 $0$은 m${\displaystyle }$× ${\displaystyle m}${\$displaystyle$ m$\times$ m$}$개의$$ 0 블록이며, $상단$에는 m ${\displaystyle$ $m$$}$ 경계$$ 행, 왼쪽에는 $m{\displaystyle }$ ${\displaystyle$ m$}$ 경계$$ 열이 있다.

The above rules stating that extrema are characterized (among critical points with a non-singular Hessian) by a positive-definite or negative-definite Hessian cannot apply here since a bordered Hessian can neither be negative-definite nor positive-definite, as ${\displaystyle \mathbf {z} ^{\mathsf {T}}\mathbf {H} \mathb$$z{\displaystyle \mathbf{}}$ ${\$가) 0이 아닌 유일한 항목이 첫 번째인 벡터인$$ 경우$$ ${z} =0}$

두 번째 파생상품 시험은 접경 헤시안(Hessian)의 특정${\displaystyle }$n - ${\displaystyle m}$ ${\displaystyle n-m}$ 하위표$$ 집합의 결정요인에 대한 부호 제한으로 구성된다.^[9] 직관적으로 $m{\displaystyle }$ ${\displaystyle m}$ 제약조건은$$ $n{\displaystyle }$- ${\displaystyle m}$ ${\displaystyle n-m}$ 자유변수가$$ 있는 것으로 문제를 축소하는 것으로 생각할 수 있다.(예를 들어, $f{\displaystyle }$${\displaystyle {}_{}}$(${\displaystyle }$x ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {3\mathrm{}}_{}}$) ${\$${\displaystyle {x\_\mathrm{}}_{}}$$3$}\rig}\$rig$)의 최대화는 x ${\displaystyle {3\mathrm{}}_{}}$ = ${\displaystyle {}_{}}$ $제약조건$의 영향을$$ 받는다.${\displaystyle x_{1}+x_{2}+x_{3$$$$}=1}$은$($는) 제한 없이$$ $($ $1$,${\displaystyle {}_{}{x\mathrm{}}_{}}$ ${\displaystyle 2}$,${\displaystyle {}_{}}$1${\displaystyle }$-$1$ - x 2$)$의$최대화로 축소$할 수 있다$$$.$

특히, 첫 $(\displaystyle 2m)$의 주요 미성년자(상좌표적합성 하위-매트릭스의 결정자)가 무시되는 경계 헤시안(Hessian)의 주요 미성년자(상좌표적합성 하위-매트릭스의 결정자)의 순서에 기호 조건이 부과되며, 이 경우, 처음 ${\displaystyle \mathrm{2m}}$+ $(\displaystylear$)로$$ $구성된$최소 $미성년자$ a$.$nd columns, 다음으로 잘린 $첫{\displaystyle \mathrm{}}$ ${\displaystyle \mathrm{번째}}$ ${\displaystyle \mathrm{2m}}$ +${\displaystyle }$2$${\$displaystyle 2m+2}$ 행과$$ 열 등으로 구성되며, 마지막은 전체 접경 헤시안인 경우$,$ ${\displaystyle \mathrm{2m}}$ + ${\displaystyle 1}$ {\$displaystyle$ $2m+1$}이$$n${\displaystyle }$+$$m , {\$displaystyn+m}$보다 크면 가장 작은 선행 주체는 헤시안 그 자체다.^[10] 따라서 $n{\displaystyle }$- ${\displaystyle m}$ ${\displaystyle n-m}$의 미성년자를 고려해야 하며, 각각은 후보 최대 또는 최소로 간주되는 특정 지점에서 평가된다. 국소 최대치에 대한 충분한 조건은${\displaystyle }$(${\displaystyle {}^{}}$-${\displaystyle {}^{}}$${\displaystyle 1}$ )${\displaystyle m^{}}$+${\displaystyle {}^{}{1}^{}}$ . ${\$$displaystyle$(-1$)^{m+1}.}}$의 기호를 가진 가장 작은 기호와 교대하는 것이다${\displaystyle {}^{}}$${\displaystyle m}$= ${\displaystyle 0}$ ${\displaystyle m=0}$ 이러한$$ 조건은 주문되지 않은 헤시안이 각각 음의 확정 또는 양의 확정이라는 조건과 일치한다.

벡터 값 함수

$f{\displaystyle }$ ${\displaystyle f}$이(가) 벡터 $필드{\displaystyle \mathbf{}}$ f${\displaystyle }$: ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$→ ${\displaystyle {}^{}}$ m ,${\displaystyle \mathb$ {f}$:\mathb {R} ^{n}\to \mathb {R},$ 즉$$$,$

그러면 두 번째 부분파생상품의 $집합$은 n${\displaystyle }$× ${\displaystyle n}${\$displaystyle$ n$\properties$n} 행렬이$$ 아니라 제3의 텐서(tensor)이다. $이$는 f ${\$의 각 구성 요소마다 하나씩, $m{\displaystyle }$ ${\displaystyle m}$ Hesian$$ 행렬의 배열로 생각할 수 있다$.$ 이 텐서는 $m{\displaystyle }$= 1${\displaystyle m=1일$ 때 일반적인 헤시안 행렬로 변한다$.$$}$

복합 케이스에 대한 일반화

여러 복잡한 변수의 맥락에서 헤시안은 일반화될 수 있다. $f{\displaystyle }$: ${\displaystyle {\mathbb{}}^{}}$ ${\displaystyle {}^{}}$→ ${\displaystyle C\mathbb{}}$, ${\displaystyle$ f$:\mathb {C} ^{n}\to \mathb {C},},}$을(를) 쓰고$$ $f{\displaystyle (z{}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle {}_{}}$ ${\displaystyle n_{}}$)${\displaystyle }$. ${\displaystyle f\left(z_{1},\ldots,z_{n}\$n}\rig}\$오른쪽)$을 쓴다고 가정해 보자.$}$ Then the generalized Hessian is ${\displaystyle {\frac {\partial ^{2}f}{\partial z_{i}\partial {\overline {z_{j}}}}}.}$ If ${\displaystyle f}$ satisfies the n-dimensional Cauchy–Riemann conditions, then the complex Hessian matrix is identically zero.

리만 다양체로의 일반화

$({\displaystyle }$M ,${\displaystyle g}$) ${\displaystyle (M,g)}$은(는) 리바-시비타 연결부$({\displaystyle \mathrm{}}$Levi-Civita 연결부$)$이고 n {\$displaystyle \nabla }$은(는) 리바-시타 연결부가 된다. ${\displaystyle f\mathbb{}}$: M${\displaystyle }$→ R ${\$$M\to \mathb {R}}$은(는) 매끄러운 함수가 된다$$. 다음을 기준으로 헤시안 텐서 정의

함수의 첫 번째 공변량 파생상품이 일반적인 파생상품과 동일하다는 사실을 이용하는 경우. 로컬 좌표${\displaystyle }${ ${\displaystyle {}^{}}$ ${\displaystyle i^{}}$ ${\$을(를) 선택하면 헤시안에게 다음과 같은 로컬 식이 제공된다$$. 여기서 $\gamma {\displaystyle {\mathrm{}}_{}^{}}$ ${\displaystyle i_{}^{}}$ ${\displaystyle j_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\$는 연결의 크리스토펠 기호다. 헤시언에 대한 기타 동등한 형식은 다음과 같다.

참고 항목

• 헤시안 행렬의 결정 인자는 공변량이다. 이항 형식의 불변량 참조
• 양극화 정체성, 헤센인을 포함한 신속한 계산에 유용하다.
• 자코비 행렬
• 헤시안 방정식

메모들

추가 읽기

• Lewis, David W. (1991). Matrix Theory. Singapore: World Scientific. ISBN 978-981-02-0689-5.
• Magnus, Jan R.; Neudecker, Heinz (1999). "The Second Differential". Matrix Differential Calculus : With Applications in Statistics and Econometrics (Revised ed.). New York: Wiley. pp. 99–115. ISBN 0-471-98633-X.

외부 링크

• "Hessian of a function", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Weisstein, Eric W. "Hessian". MathWorld.