전제조건

이 글은 일반적인 참고문헌 목록을 포함하고 있지만, 그에 상응하는 인라인 인용구가 충분하지 않기 때문에 대체로 검증되지 않은 상태로 남아 있다. 좀 더 정확한 인용문을 도입하여 이 기사를 개선할 수 있도록 도와주십시오. (2013년 2월) (이 템플릿 메시지를 제거하는 방법 및 시기 알아보기)

수학에서 전제조건이란 주어진 문제를 수치해결방법에 더 적합한 형태로 조건화하는 변형을 전제조건이라고 하는 것을 응용한 것이다.전제 조건은 일반적으로 문제의 조건 수를 줄이는 것과 관련이 있다.그리고 나서 전제된 문제는 대개 반복적인 방법으로 해결된다.null

선형 시스템을 위한 전제 조건화

In linear algebra and numerical analysis, a preconditioner ${\displaystyle P}$ of a matrix ${\displaystyle A}$ is a matrix such that ${\displaystyle P^{-1}A}$ has a smaller condition number than ${\displaystyle A}$. It is also common to call ${\displaystyle T=P^{-1}}$ the preconditioner,$P{\displaystyle }$ ${\displaystyle P}$ 그 자체는 거의 명시적으로 사용할$$ 수 없기 때문에$$$P{\displaystyle }$ ${\displaystyle P}$보다.In modern preconditioning, the application of ${\displaystyle T=P^{-1}}$, i.e., multiplication of a column vector, or a block of column vectors, by ${\displaystyle T=P^{-1}}$, is commonly performed in a matrix-free fashion, i.e., where neither ${\displaystyle P}$, nor ${\displays$$tyle T=P^{-1}($$그리고{\displaystyle }$ 종종 A ${\displaystyle A}$도 아닌 경우도 있음$)$는 매트릭스 형식으로 명시적으로 이용할 수 있다.null

전제조건은 전제조건으로 인해 매트릭스의 조건 수가 감소하기 때문에 $대부분$의 반복적 선형 해결사의 수렴 속도가 증가하기 때문에$$ 선형 시스템 A ${\displaystyle x}$= ${\displaystyle b}$ ${\displaystyle Ax$$=b$$}$을(를) 해결하는$$ 반복 방법에 유용하다.사전 예방적 반복 해결사는 일반적으로 직접 해결사(예: 가우스 제거)를 능가하며, 특히 희박한 행렬의 경우 대규모의 경우 더욱 그러하다.반복 솔버를 매트릭스 없는 방법으로 사용할 수 있다. 즉, 계수 $매트릭스{\displaystyle }$ A ${\displaystyle A}$을(를) 명시적으로 저장하지 않고 매트릭스 벡터 제품을 평가하여 액세스할 경우 유일한 선택이 된다.null

설명

위의 원래 선형 시스템을 해결하는 대신 올바른 전제 조건을 갖춘 시스템을 고려할 수 있다.

${\displaystyle AP^{-1}(Px)=b}$

그리고 해결하다

${\displaystyle AP^{-1}y=b}$

$y$ ${\displaystyle y}$ 및

${\displaystyle Px=y}$

$x{\displaystyle }$ ${\displaystyle x}$의$$경우

또는, 왼쪽 전제 시스템을 해결할 수도 있다.

${\displaystyle P^{-1}(Ax-b)=0.}$

두 시스템은 전제조건 매트릭스 $P{\displaystyle }$ ${\displaystyle P}$이(가) 비정형인 한 원래 시스템과 동일한 솔루션을 제공한다.좌파의 전제조건이 더 전통적이다.null

양면 전제제

${\displaystyle QAP^{-1}(Px)=Qb}$

may be beneficial, e.g., to preserve the matrix symmetry: if the original matrix ${\displaystyle A}$ is real symmetric and real preconditioners ${\displaystyle Q}$ and ${\displaystyle P}$ satisfy ${\displaystyle Q^{T}=P^{-1}}$ then the preconditioned matrix ${\displaystyle QAP^{-$$1.$또한 대칭이다$$.양면 전제조건은 사전조건 $Q{\displaystyle }$ ${\displaystyle Q}$ $및$ P ${\displaystyle P}$이(가) 대각선이고$$ 원래 행렬 A ${\displaystyle A$의 열과 행 모두에 스케일링을 적용하여 매트릭스 항목의 동적 범위를 줄인다.null

전제조건의 목표는 예를 들어, 좌우의 전제조건 시스템 매트릭스 $P{\displaystyle {}^{}}$- ${\displaystyle {}^{}}$ ${\displaystyle {\mathrm{A}}^{}}${\$displaystyle$ P$^{-1A}$ 또는$$ A ${\displaystyle {\mathrm{P}}^{}}$- 1 ${\$의 조건 번호를 줄이는 것이다$.$ 작은 조건 번호는 반복 솔버의 빠른 수렴에 도움이 되며, 섭동과 관련하여 솔루션의 안정성을 향상시킨다.예를 들어, 낮은 컴퓨터 정밀도를 사용하여 매트릭스 항목을 보다 적극적으로 정량화할 수 있는 시스템 매트릭스와 오른쪽 측면.null

전제조건 매트릭스 $P{\displaystyle {}^{}}$- 1 ${\displaystyle {}^{}}$ ${\displaystyle$ P$^{-1}A$$}$ $또는{\displaystyle }$ A${\displaystyle {}^{}}$ - ${\displaystyle 1^{}}${\$displaystyle$ AP$^{-1}$는 거의 명시적으로 형성되지 않는다$$.주어진 벡터에 전제자$$ 해결 작업 ${\displaystyle {\mathrm{P}}^{}}$- 1 ${\$를 적용하는 동작만 계산하면 될 수 있다.null

일반적으로 $P{\displaystyle }$ ${\displaystyle P}$의 선택에는 트레이드오프가 있다$.$ P${\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ ${\$ 연산자 $P{\displaystyle {}^{}}$ - 1의 각 단계마다 연산자 P - 1을 적용해야 하기$$ 때문에${\displaystyle {}^{}}$P - ${\displaystyle 1^{}}$ ${\$ P$^{-1}$를 적용하는 데 적은 비용(계산 시간)이 있어야 한다.따라서 가장 저렴한 전제조건은 $P{\displaystyle {}^{}}$= ${\displaystyle {\mathrm{I}}^{}}$ ${\displaystyle P=I}$ 그 이후$$ P - 1${\displaystyle {}^{}}$= ${\displaystyle I.}$ ${\displaystyle$ P$^{-1}$ 분명히$$ 이것은 원래의 선형 시스템을 초래하고 전제조건은 아무 것도 하지 않는다.다른 극단에서는 P${\displaystyle }$= ${\displaystyle A}$ ${\displaystyle P=A}$를 선택하면 ${\displaystyle {}^{}{}^{}}$- 1 A${\displaystyle }$=${\displaystyle {}^{}{\mathrm{P}}^{}}$ - ${\displaystyle {}^{}{}^{}}$= ${\displaystyle I,}$ ${\displaystyle P^{-1}A$=가$$ 나타난다$.$최적의 조건 번호가 1인 $AP$$^{-1}=I,}$은(는) 정합성을 위해 단일 반복이 필요하지만, 이 ${\displaystyle {\mathrm{경우}}^{}}$ P${\displaystyle {}^{}}$-${\displaystyle {}^{}}$1 = ${\displaystyle {}^{}}$-${\displaystyle {}^{}{1}^{}}$, ${\displaystyle P^{-1}=A^{1},$ 전제조건을$$ 적용하는 것은 원래 시스템을 푸는 것만큼 어렵다.따라서 조작자 P${\displaystyle {}^{}}$- 1 ${\$를 가능한$$ 한 단순하게 유지하면서 최소한의 선형 반복을 달성하기 위해 P ${\displaystyle P^{-$1}를 이 두 극단 사이의 어딘가로$$ 선택한다.일반적인 전제 조건화 접근법의 몇 가지 예는 아래에 자세히 설명되어 있다.null

사전 정의된 반복 방법

Preconditioned iterative methods for ${\displaystyle Ax-b=0}$ are, in most cases, mathematically equivalent to standard iterative methods applied to the preconditioned system ${\displaystyle P^{-1}(Ax-b)=0.}$ For example, the standard Richardson iteration for solving ${\displaystyl$$e Ax-b=0}$은(는)

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma_{n}(A\mathbf {x} _{n}-\mathbf {b}),\n\geq 0.}$

전제조건부 $시스템{\displaystyle {}^{}}$P -${\displaystyle {}^{}{1}^{}}$ ( ${\displaystyle A}$x -${\displaystyle b}$) = ${\displaystyle 0}$, ${\displaystyle P$^{-$1}(Ax-b)=0,}$에 적용하면 전제조건부 방법으로 전환된다.

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}P^{1}(A\mathbf {x} _{n}-\mathbf {b}),\n\geq 0.}$

선형 시스템에 대한 일반적인 전제 조건 반복 방법의 예로는 전제 조건 결합 구배 방법, 비콘주게이트 구배 방법, 일반화된 최소 잔차 방법이 있다.스칼라 제품을 사용하여 반복 파라미터를 계산하는 반복 방법은 A ${\displaystyle x}$-${\displaystyle }$b${\displaystyle }$= ${\displaystyle 0}$에$$ $P{\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ (${\displaystyle A}$ x - b ) =$0$ {\$displaystyle$ P^{-1}($Ax-b{\displaystyle }$$)=0}$을(를${\displaystyle \mathrm{)}}$ 대체하는 것과 함께 스칼라 제품의 해당 변경이 필요하다. {\$displaysty Ax-b=0.$$}$

행렬 분할

고정 반복 방법은 $A{\displaystyle }$= M${\displaystyle }$- ${\displaystyle N}$ ${\displaystyle A=M-N}$을(를) 분할하는 매트릭스와${\displaystyle }반복{\displaystyle }$C = I${\displaystyle }$- ${\displaystyle {}^{}}$ - ${\displaystyle 1^{}}$ {\$displaystyle$ C$=I-M^{-1A}$에 의해 결정된다$.$

• 시스템 매트릭스 $A{\displaystyle }$ ${\displaystyle A}$은(는) 대칭 양의-확정성이며,
• 분할 행렬 $M{\displaystyle }$ ${\displaystyle M}$은(는) 대칭 양의-확정성이며,
• 반복 방법은 수렴되며, ( C )< {\$displaystyle$\ $(C)<1$}에 의해 결정된다

조건 번호 $\kappa {\displaystyle }$(${\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ ${\displaystyle {}^{}}$) ${\displaystyle \kappa (M^{-1}A)}$은(는) 다음에 의해 경계된다.

${\displaystyle \kappa(M^{-1}A)\leq {\frac {1+\rho(C)}{1-\rho(C)}}\,.}$

기하학적 해석

대칭 양의 한정 행렬 $A{\displaystyle }$ ${\displaystyle A}$의 경우 사전$$ $조건자{\displaystyle }$ P$${\$displaystyle P}$도 대칭 양의 한정 행렬로 선택된다$$.전제 조건 연산자 $P{\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle$ P$^{-1}A}$도 대칭 양수 확정이지만$$ $P{\displaystyle }$ ${\displaystyle P}$ 기반$$ 스칼라 제품에 대해서는 해당된다.이 경우 전제조건을 적용할 때 원하는 효과는 $P{\displaystyle }$ ${\displaystyle P}$ 기반$$ 스칼라 제품과 관련하여$$ 전제 조건 $연산자{\displaystyle {}^{}}$ P${\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle$ P^{-$1}A}$의 2차 형태를 거의 구형 상태로 만드는 것이다.^[1]null

가변 및 비선형 전제조건

$T{\displaystyle }$= ${\displaystyle {\mathrm{P}}^{}}$- 1 ${\$ T$=P^{-1$을 나타내는 전제조건이 $일부{\displaystyle }$ 벡터 $r{\displaystyle }$ ${\displaystyle R}$에 T ${\displaystytle T}$을$($를) 곱하여 실제로 구현된다는 점을 강조한다. 즉, 제품 ${\displaystyle T}$ $r{\displaystyle }$${\displaystyle }$. ${\displaystytyle T}$은 매트릭스로 제공되지 않지만$$, 랫드.벡터 $r{\displaystyle }$ ${\displaystyle r$$}$에 작용하는$$ $연산자{\displaystyle }$ T${\displaystyle }$( r${\displaystyle }$) ${\displaystyle T(r)}$로서의 그녀$.$ 그러나 일부 인기 있는 $전제조건$은$$r {\$displaystyle$ r}에$$ 따라 ${\displaystyle \mathrm{변하며}}$ r ${\displaysty r}$에 대한 의존도는 선형적이지 않을$$ 수 있다.대표적인 예로 전제조건 구성의 일부로 비선형 반복 방법(예: 결합 구배 방법)을 사용하는 경우를 들 수 있다.그러한 전제조건들은 실질적으로 매우 효율적일 수 있지만, 그들의 행동은 이론적으로 예측하기 어렵다.null

무작위 전제조건

가변 전제조건의 한 가지 흥미로운 사례는 무작위 전제조건이다. 예를 들어, 무작위 코스 그리드에 대한 다중 전제조건이다.^[2]구배 강하방식에 사용할 경우 무작위 전제조건은 확률적 구배 강하방식의 구현으로 볼 수 있으며, 구배 강하방식의 점증적 "지그재그" 패턴을 깨기 때문에 고정된 전제조건에 비해 더 빠른 수렴으로 이어질 수 있다.null

스펙터클 등가 전제조건

전제조건의 가장 일반적인 용도는 부분 미분방정식의 근사치에서 비롯되는 선형 시스템의 반복적 용액이다.근사치 품질이 좋을수록 행렬 크기가 커진다.이러한 경우에 최적 전제조건화의 목표는 한쪽에서 $P{\displaystyle {}^{}}$- ${\displaystyle {}^{}}$ ${\displaystyle {\mathrm{A}}^{}}${\$displaystyle$ P$^{-11}A}$의 스펙트럼 조건 번호를 매트릭스 크기와 무관한 상수로 경계하도록$$ 하는 것인데, 이를 D'yakonov에 의해 스펙터클 등가 전제조건이라고 한다.${\displaystyle {\mathrm{한편}}^{}}$, P${\displaystyle {}^{}}$- 1 ${\$ P$^{-1}$의 적용 원가는 벡터에 의한${\displaystyle }$ A ${\displaystyle A}$의 곱셈 원가에 이상적으로 비례(매트릭스 크기와도 무관)해야 한다$$.null

예

자코비(또는 대각선) 전제조건

자코비 전제조건은 전제조건의 가장 간단한 형태 중 하나로, 전제조건은 $매트릭스{\displaystyle }$ P${\displaystyle }$= d ${\displaystyle i\mathrm{}}$ ${\displaystyle \mathrm{a}}$ ${\displaystyle \mathrm{g}}$( ${\displaystyle A}$)${\displaystyle }$. ${\displaystyle P=\mathrm {diag} ($A)의 대각선으로 선택된다$.$$}}$ $A{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle 0,}$ ${\displaystyle \mathrm{\forall }}$ ${\displaystyle i}$ ${\displaystyle A_{i}\neq 0,\all$ i$}$을$($를) ${\displaystyle {\mathrm{가정}}_{}^{}}$하면${\displaystyle {}_{}^{}}$P i${\displaystyle {}_{}^{}{\mathrm{j}}_{}^{}}$ - 1 = ${\displaystyle \Delta \frac{{}_{}}{}}$ ${\displaystyle \frac{i_{}}{}}$ ${\displaystyle \frac{{}_{}}{{}_{}}}$ ${\displaystyle \frac{i_{}}{}}$ ${\displaystyle \frac{J_{}}{}}${\$displaysty P_{ij}^{-1}={\frac${\$delta _{ij}}}}}{{$ij}}}}}}}}}}}}}}}}}}{{{{{{{}}}}}}}}}}}}}}}}}}}}}}}}}}$A_{ij}}.$$}$ 대각선 우위 $행렬{\displaystyle }$ A ${\displaystyle A}$에 효율적이다$.$ 빔 문제 또는 1-D 문제의 분석 소프트에 사용된다(EX:-- STAAD PRO).

스페이

The Sparse Approximate Inverse preconditioner minimises ${\displaystyle \ AT-I\ _{F},}$ where ${\displaystyle \ \cdot \ _{F}}$ is the Frobenius norm and ${\displaystyle T=P^{-1}}$ is from some suitably constrained set of sparse matrices.프로베니우스 규범에 따르면, 이것은 수많은 독립적인 최소 제곱 문제를 해결하는 것으로 감소한다.$T{\displaystyle }$ ${\displaystyle T}$의 항목은 일부 첨사성 패턴으로 제한되어야 하며$$ 그렇지 않으면 문제가 $A{\displaystyle }$ ${\displaystyle A$의 정확한 반전을 찾는 것만큼 어렵고 시간이 많이 소요되는 것으로 남아 있다.이 방법은 M.J. Grote와 T.가 도입했다.첨탑성 패턴을 선택하기 위한 접근방식과 함께 허클을 누르십시오.^[3]null

기타 전제조건

• 불완전한 숄스키 인자화
• 불완전한 LU 인자화
• 연속 과완화
  • 대칭 연속 과완화
• 멀티그리드 전제 조건화

외부 링크

• 사전 예방적 결합 그라데이션 – math-linux.com
• 선형 시스템 솔루션 템플릿:반복적 방법의 구성요소

고유값 문제에 대한 전제 조건화

고유치 문제는 몇 가지 대안적인 방법으로 틀에 박힐 수 있으며, 각각은 그 자체의 전제조건으로 이어진다.전통적인 전제조건은 소위 스펙트럼 변환에 기초한다.목표 고유값을 알면(대략) 관련 동질 선형 시스템을 풀어서 해당 고유 벡터를 계산할 수 있으므로 선형 시스템의 전제조건을 사용할 수 있다.마지막으로 고유값 문제를 Rayleigh 지수의 최적화로 형성하면 사전 정의된 최적화 기법이 현장에 도입된다.^[4]null

스펙트럼 변환

By analogy with linear systems, for an eigenvalue problem ${\displaystyle Ax=\lambda x}$ one may be tempted to replace the matrix ${\displaystyle A}$ with the matrix ${\displaystyle P^{-1}A}$ using a preconditioner ${\displaystyle P}$. However, this makes sense only if the seeking eigenvectors of $$${\displaystyle A}$ ${\displaystyle A}$과(와) $P{\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle P^{-1}A}$은(는) 동일하다.스펙트럼 변환의 경우는 이렇다.null

The most popular spectral transformation is the so-called shift-and-invert transformation, where for a given scalar ${\displaystyle \alpha }$, called the shift, the original eigenvalue problem ${\displaystyle Ax=\lambda x}$ is replaced with the shift-and-invert problem ${\displaystyle (A-\alp$$ha$ I$)^{-1}x=\mu$ x$\}.$고유 벡터는 보존되며, 반복적인 해결사(예: 동력 반복)에 의해 시프트 앤 인버스 문제를 해결할 수 있다.이것은 일반적으로 고유벡터로 수렴되는 역반사 반복을 제공하며, 이는 시프트 $\alpha {\displaystyle }$ ${\displaystyle \alpha }$에 가장 가까운 고유값에 해당한다$.$ Rayleigh 지수 반복은 가변 시프트를 갖는 시프트 앤 반전 방법이다.null

스펙트럼 변환은 고유값 문제에 특정되며 선형 시스템에 대한 아날로그가 없다.그들은 관련된 변환에 대한 정확한 수치 계산을 요구하는데, 이것은 큰 문제의 주요 병목 현상이 된다.null

일반 전제 조건

선형 시스템과 밀접하게 연결하기 위해 목표 고유값${\$을(를) 알고 있다고 가정해 보자.Then one can compute the corresponding eigenvector from the homogeneous linear system ${\displaystyle (A-\lambda _{\star }I)x=0}$. Using the concept of left preconditioning for linear systems, we obtain ${\displaystyle T(A-\lambda _{\star }I)x=0}$, where ${\displaystyle T}$ is리차드슨 반복을 이용하여 해결할 수 있는 전제조건

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma_{n}T(A-\lambda _{\star }I)\mathbf {x} _{n}\n\geq 0.}$

이상적인 전제조건^[4].

The Moore–Penrose pseudoinverse ${\displaystyle T=(A-\lambda _{\star }I)^{+}}$ is the preconditioner, which makes the Richardson iteration above converge in one step with ${\displaystyle \gamma _{n}=1}$, since ${\displaystyle I-(A-\lambda _{\star$$}I)^{+}(A-\lambda _{\star }I)}$, denoted by ${\displaystyle P_{\star }}$, is the orthogonal projector on the eigenspace, corresponding to ${\displaystyle \lambda _{\star }}$. The choice ${\displaystyle T=(A-\lambda _{\star }I)^{+}}$ is impractical for three independent reasons.첫째, ${\$의 근사치 $\lambda {\displaystyle {\stackrel{}{}}_{}}$ ~${\displaystyle {\stackrel{}{}\star }_{}}$ ${\$로 대체될 수 있지만, 실제로 알려져$$ 있지 않다$.$ 둘째, 정확한 무어-펜로즈 사이비프루스는 우리가 찾으려는 고유 벡터의 지식이 필요하다.This can be somewhat circumvented by the use of the Jacobi–Davidson preconditioner ${\displaystyle T=(I-{\tilde {P}}_{\star })(A-{\tilde {\lambda }}_{\star }I)^{-1}(I-{\tilde {P}}_{\star })}$, where ${\displaystyle {\tilde {P}}_{\star }$$}$ approximates ${\displaystyle P_{\star }}$. Last, but not least, this approach requires accurate numerical solution of linear system with the system matrix ${\displaystyle (A-{\tilde {\lambda }}_{\star }I)}$, which becomes as expensive for large problems as the shift-and-invert method above.솔루션이 정확하지 않으면 2단계가 중복될 수 있다.null

실무적 전제조건

먼저 위의 리처드슨 반복에서 이론적$$ 값${\$을(를) 현재의 근사치 ${\displaystyle {\lambda n}_{}}$ ${\$로 대체하여$$ 실제 알고리즘을 얻읍시다.

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}T(A-\lambda _{n}I)\mathbf {x} _{n}\\geq 0.}$

A popular choice is ${\displaystyle \lambda _{n}=\rho (x_{n})}$ using the Rayleigh quotient function ${\displaystyle \rho (\cdot )}$. Practical preconditioning may be as trivial as just using ${\displaystyle T=(diag(A))^{-1}}$ or ${\displaystyle T=(diag(A-{\lambda }_{n}I){)}^{}}$${\displaystyle {-}^{}}$ ${\displaystyle 1^{}}$. ${\displaystyle T=(diag(A-\lambda _{n}I)^{-1}}$유전값 문제의 일부 등급에 대해서는$$ $T{\displaystyle }$≈ ${\displaystyle {\mathrm{A}}^{}}$- 1 ${\$약$A^{-1}$의 효율성이 수치적으로 입증되었다$$.선택 $T{\displaystyle }$ ${\displaystyle \approx }$ ${\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ ${\$약 A$^{-1}$는 선형 시스템을 위해 개발된 광범위한 전제조건을 고유값 문제에 쉽게 활용할 수 있도록 한다$$.null

값 변화 ${\displaystyle {\lambda n}_{}}$ ${\$ 때문에 리차드슨 반복과 같은 가장 간단한 방법이라도 선형 시스템 사례에 비해 종합적인 이론 수렴 분석이 훨씬 어렵다$.$null

외부 링크

• 대수적 고유값 문제해결을 위한 템플릿: 실무지침서

최적화 전제 조건화

최적화에서 전제조건은 일반적으로 1차 최적화 알고리즘을 가속화하기 위해 사용된다.null

설명

예를 들어, 그라데이션 강하를 사용하여$$ 실제 값 $함수{\displaystyle }$ F${\displaystyle (x\mathbf{}}$) ${\displaystyle$ F${\displaystyle (\backslash }$$mathbf {x})$의 최소 로컬 최소값을 찾으려면 현재 지점에서 함수의 그라데이션 -$displaystyle$ -$\nabla F(\mathbf${a})}(또는 대략적인 그라데이션)에 비례하는 단계를 수행하십시오.

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\n\geq 0.}$

전제 조건이 구배에는 다음과 같이 적용된다.

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}P^{-1}\nabla F(\mathbf {x} _{n})\\\geq 0.}$

여기서 전제 조건은 레벨 세트를 원처럼 보이게 하는 것을 목표로 벡터 공간의 기하학적 구조를 바꾸는 것으로 볼 수 있다.^[5]이 경우 전제된 구배는 그림에서와 같이 극점 부근을 목표로 하여 수렴 속도를 높인다.null

선형 시스템에 대한 연결

2차 함수의 최소값

${\displaystyle F(}$ ${\displaystyle x\mathbf{}}$)${\displaystyle }$= ${\displaystyle 1\frac{\mathrm{}}{}}$ ${\displaystyle \frac{2}{}}$ ${\displaystyle x{\mathbf{}}^{}}$ T ${\displaystyle A\mathbf{}}$ -${\displaystyle {\mathbf{}}^{}}$ ${\displaystyle {}^{}}$ ${\displaystyle {}^{}\mathbf{}}$ ${\$ F$(\mathbf {x} )={\frac {1}{2}}\mathbf {x} ^{T}A\mathbf {x} -\mathbf$ {b}$^{T}\mathbf {$b}}, {b}}}}},$$}}, $},$ }, }, }, }, },

where ${\displaystyle \mathbf {x} }$ and ${\displaystyle \mathbf {b} }$ are real column-vectors and ${\displaystyle A}$ is a real symmetric positive-definite matrix, is exactly the solution of the linear equation ${\displaystyle A\mathbf {x} =\mathbf {b} }$. Since ${\displ$$aystyle \nabla F$$(\mathbf$${x} )=A\mathbf {x} -\mathbf${$b$$}},$F$(x$)를 최소화하는 전제 조건의 구배 강하 방법은 다음과$$ 같다$.$

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}P^{1}(A\mathbf {x} _{n}-\mathbf {b}),\n\geq 0.}$

이것은 선형 방정식의 시스템을 풀기 위해 리차드슨 반복이 전제된 것이다.null

고유값 문제에 대한 연결

레일리 지수 최소값

${\displaystyle \rho(\mathbf {x} )={\frac {\mathbf {x} ^{T}A\mathbf {x}{\mathbf {x} ^{T}\mathbf {x}}}},},}$

여기서 $x{\displaystyle \mathbf{}}$ ${\$은$($는) 0이 아닌 실제 열 벡터이고, $A{\displaystyle }$${\displaystyle$$A$}은$$(는) 실제 대칭 양의 정의 행렬이며$,$ $최소값$은 해당 고유 벡터인 반면,Since ${\displaystyle \nabla \rho (\mathbf {x} )}$ is proportional to ${\displaystyle A\mathbf {x} -\rho (\mathbf {x} )\mathbf {x} }$, the preconditioned gradient descent method of minimizing ${\displaystyle \rho (\mathbf {x} )}$ is

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\p^{n1}(A\mathbf {x_{n})-\rho(\mathbf {x_{n})\mathbf {x_{n}, ngeq 0.$

이것은 고유가치 문제 해결을 위해 전제된 리차드슨 반복의 유사점이다.null

가변 전제조건

많은 경우에서와 같이 레벨 세트의 형상이 변화하는 것을 수용하기 위해 반복 알고리즘의 일부 또는 심지어 모든 단계에서 전제조건을 변경하는 것이 유익할 수 있다.

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}^{-1}\nabla F(\mathbf {n} _{n}),\n\geq 0.}$

그러나 효율적인 전제조건을 구축하는 것은 종종 계산적으로 비용이 많이 든다는 것을 명심해야 한다.전제조건을 갱신하는 데 드는 증가된 비용은 더 빠른 수렴의 긍정적인 효과를 쉽게 무시할 수 있다.null

참조

원천

• Axelsson, Owe (1996). Iterative Solution Methods. Cambridge University Press. p. 6722. ISBN 978-0-521-55569-2.
• D'yakonov, E. G. (1996). Optimization in solving elliptic problems. CRC-Press. p. 592. ISBN 978-0-8493-2872-5.
• Saad, Yousef & van der Vorst, Henk (2001). "Iterative solution of linear systems in the 20th century". In Brezinski, C. & Wuytack, L. (eds.). Numerical Analysis: Historical Developments in the 20th Century. Elsevier Science Publishers. §8 Preconditioning methods, pp 193–8. ISBN 0-444-50617-9.
• van der Vorst, H. A. (2003). Iterative Krylov Methods for Large Linear systems. Cambridge University Press, Cambridge. ISBN 0-521-81828-1.
• Ke Chen: "매트릭스 전제 조건 기법과 응용", 캠브리지 대학 출판부, ISBN 978-0521838283(2005)