앙상블 칼만 필터

앙상블 칼만 필터(EnKF)는 지구물리학적 모델에서 부분 미분방정식을 분해하는 등 변수가 많은 문제에 적합한 재귀 필터다.EnKF는 큰 문제에 대한 Kalman 필터의 버전(본질적으로 공분산 행렬이 샘플 공분산으로 대체됨)으로 시작되었으며, 현재는 앙상블 예측의 중요한 데이터 동화 구성요소가 되었다.EnKF는 입자 필터와 관련이 있지만(이 맥락에서 입자는 앙상블 구성원과 동일하다) EnKF는 관련된 모든 확률 분포가 가우스 분포라고 가정한다. 적용 가능한 경우 입자 필터보다 훨씬 효율적이다.

소개

앙상블 칼만 필터(EnKF)는 베이시안 업데이트 문제의 몬테카를로 구현한 것으로, 모델링된 시스템의 상태(이전, 종종 지질학에서 예측이라고 함)의 확률밀도함수(pdf)와 데이터 가능성을 고려하여, 베이즈의 정리를 사용하여 데이터 가능성을 고려한 후 pdf를 얻는다.(후측, 흔히 분석이라고 한다.)이것을 베이시안 업데이트라고 한다.베이시안 업데이트는 모델을 적시에 발전시키는 것과 결합되어, 때때로 새로운 데이터를 통합한다.1960년에 도입된 원래의 칼만 필터는 ^[1]모든 pdfs가 가우스(가우스 가정)라고 가정하고 베이시안 업데이트에 의한 평균 및 공분산 행렬의 변화에 대한 대수적 공식과 더불어 시스템이 선형인 경우 시간의 평균과 공분산을 진전시키는 공식을 제공한다.그러나 공분산 행렬을 유지하는 것은 고차원 시스템에 대해 계산적으로 가능하지 않다.이러한 이유로, EnKFs가 개발되었다.^[2][3]EnKF는 앙상블이라 불리는 상태 벡터의 집합을 사용하여 시스템 상태의 분포를 나타내며, 앙상블에서 계산된 샘플 공분산 행렬을 공분산 행렬로 대체한다.앙상블은 무작위 샘플인 것처럼 운영되지만, 앙상블 멤버들은 실제로 독립적이지 않다. 즉, EnKF는 이들을 하나로 묶는다.EnKFs의 한 가지 장점은 앙상블의 각 멤버를 단순히 전진시킴으로써 pdf를 제 시간에 앞당기는 것이다.^[4]

파생

칼만 필터

Kalman 필터를 먼저 검토해보자.$x{\displaystyle \mathbf{}}$ ${\$는) $모형$의 n ${\displaystyle$n} -차원$$ 상태 벡터를 나타내며$$, $평균{\displaystyle }$ μ ${\$과($와$$)$ 공분산$$ $Q{\displaystyle }$ ${\displaystylease$ Q$\}$을 갖는다고 가정한다.

${\displaystyle p(\mathbf {x} )\propto \ex \frac {1}{1}:{2}}(\mathbf {x} -\mathbf {\mathbf {\mu } )^{\mathbf {x}-1}(\mathbf {x} - {\mathbf } )\mathbf }\matmatmax }\max }\mu }\}\}\}\}\}\}\}\}\}\}\}\}$

여기서와 아래에서 $\propto {\displaystyle }$ ${\displaystyle \propto }$은 비례한다는$$ 뜻이며, pdf는 항상 전체 공간에 걸쳐 통합될 수 있도록 크기가 조정된다.이전으로 불리는$$$이{\displaystyle }$ p${\displaystyle }$( ${\displaystyle x\mathbf{}}$) ${\displaystyle p(\mathbf {x} )}$은 모델을 실행함으로써 시간 내에 진화되었으며 이제 새로운 데이터를 설명하기 위해 업데이트될 예정이다.데이터의 오차 분포를 알고 있다고 가정하는 것은 당연하다. 데이터는 오차 추정치와 함께 와야 한다. 그렇지 않으면 의미가 없다.여기서 $d{\displaystyle \mathbf{}}$ ${\$ 데이터에는 공분산 $R{\displaystyle }$ ${\displaystyle R}$과(와) 평균 ${\displaystyle H\mathbf{}}$ $x{\displaystyle }$ ${\$ H$\mathbf {x}이($가) 있는 가우스 pdf가 있다고 가정하며$,$ $여기$서 H ${\displaystystyle H}$은 소위 관측 행렬이다.공분산 행렬 $R{\displaystyle }$ ${\displaystyle R}$은 데이터 오류의 추정치를 설명한다$$. 데이터 $벡터{\displaystyle \mathbf{}}$ d ${\$ 항목의 랜덤 오류가 독립적일$$ 경우 R ${\displaystyle R}$은 대각선이고 대각선 항목은 표준 편차의 제곱("오류 크기")이다.데이터 벡터 $d{\displaystyle \mathbf{}}$ ${\$의 해당 항목$.$ ${\displaystyle 데이터\mathbf{}}$ 오류가 없는 경우$$ $상태{\displaystyle \mathbf{}}$ x ${\$ $H\mathbf {x$$}$에 대한 데이터 값인$$ H x ${\$displaystyle $\mathbf {x}.$그러면 데이터 우도라고$$하는 시스템 상태 $x{\displaystyle \mathbf{}}$ ${\$ \$mathbf {d}$의 데이터 d ${\$의 확률 밀도 $($ $\mathbf {x}$$$$}$이$($가)가 된다.

${\displaystyle p\left(\mathbf {d} \mathbf {x} \right)\propto \exp \left(-{\frac {1}{2}}(\mathbf {d} -H\mathbf {x} )^{\mathrm {T} }R^{-1}(\mathbf {d} -H\mathbf {x} )\right).}$

상태와 데이터 우도의 pdf는 베이즈 정리(Bayes 정리)에 의한 $데이터{\displaystyle \mathbf{}}$ d ${\$$mathbf$${x}$의 값을 조건으로$$ 시스템 상태 $x{\displaystyle \mathbf{}}$ ${\$$mathbf$$${x$}}$$$의 새로운 확률 밀도를 제공하도록 결합된다.

$\dmathbf {x} \mathbf {d} \right)\propto p\p\f(\mathbf {d} \mathbf {x} \right)p(\mathbf {x} \mathbf {x}}$

The data ${\displaystyle \mathbf {d} }$ is fixed once it is received, so denote the posterior state by ${\displaystyle \mathbf {\hat {x}} }$ instead of ${\displaystyle \mathbf {x} \mathbf {d} }$ and the posterior pdf by ${\displaystyle p\left(\mathbf {\hat {x}} \right)}$.대수학적 조작으로^[5] 볼 수 있는 것은 후방 pdf도 가우스파라는 것을 알 수 있다.

${\displaystyle p\left(\mathbf {\hat {x}} \right)\propto \exp \left(-{\frac {1}{2}}(\mathbf {\hat {x}} -\mathbf {\hat {\mu }} )^{\mathrm {T} }{\hat {Q}}^{-1}(\mathbf {\hat {x}} -\mathbf {\hat {\mu }} )\right),}$

Kalman 업데이트 공식에 의해 제공된$$ 후방 평균 $\mu {\displaystyle \hat{}}$ ${\$ 및$$ $공분산{\displaystyle \stackrel{}{}}$ Q ${\displaystyle \stackrel{}{^}}$ ${\$을(를) 사용하여

${\displaystyle \mathbf{\mu{\mu } =\mathbf {\matbf {d} -H\mathbf {\mathbf {\mu \}오른쪽)\quad {\\\Q}=\ft(I-KH\right)Q,},}}},},}$

어디에

$(\displaystyle K=QH^{\mathrm {T}}\왼쪽(HQH^{\mathrm {T}}}+R\right)^{-1}$

Kalman gain matrix라고 불리는 거야

앙상블 칼만 필터

EnKF는 칼만 필터의 몬테 카를로 근사치로 상태 벡터 $x{\displaystyle \mathbf{}}$ ${\$ {$x}}$의 pdf의 공분산 행렬의 진화를 피한다$.$ 대신 pdf는 앙상블로 표현된다.

${\displaystyle X=\left[\mathbf {x} _{1},\ldots,\mathbf {x} _{N}\right]=\left[\mathbf {x} _{i}\right].}$

${\displaystyle X}$ ${\displaystyle X}$는 $N{\displaystyle }$ ×${\displaystyle N}$ ${\displaystyle n\times N}$ 행렬로$$, 열이 앙상블 멤버인 것을 선행 앙상블이라고 한다.이상적으로는 앙상블 구성원들이 이전 분포로부터 샘플을 형성할 것이다.그러나 앙상블 멤버들은 모든 EnKF 스텝이 그들을 하나로 묶기 때문에 초기 앙상블을 제외하고는 전반적으로 독립적이지 않다.그들은 거의 독립적이라고 간주되고, 모든 계산은 마치 그들이 실제로 독립된 것처럼 진행된다.

데이터 $d{\displaystyle \mathbf{}}$ ${\$를) $m{\displaystyle }$ ${\displaystyle \times }$ ${\displaystyle N}$ ${\displaystyle m\times$ N$}$ 행렬로$$$$ 복제

${\displaystyle D=\left[\mathbf {d} _{1},\ldots ,\mathbf {d} _{N}\right]=\left[\mathbf {d} _{i}\right],\quad \mathbf {d} _{i}=\mathbf {d} +\mathbf {\epsilon _{i}} ,\quad \mathbf {\epsilon _{i}} \sim N(0,R),}$

so that each column ${\displaystyle \mathbf {d} _{i}}$ consists of the data vector ${\displaystyle \mathbf {d} }$ plus a random vector from the ${\displaystyle m}$-dimensional normal distribution ${\displaystyle N(0,R)}$. If, in addition, the columns of ${\displaystyle X}$ are a sample from 이전 확률 분포, 다음 열

${\displaystyle {\hat{X}=X+K(D-HX)}$

후확률 분포에서 표본을 만들다To see this in the scalar case with ${\displaystyle H=1}$: Let ${\displaystyle x_{i}=\mu +\xi _{i},\;\xi _{i}\sim N(0,\sigma _{x}^{2})}$, and ${\displaystyle d_{i}=d+\epsilon _{i},\;\epsilon _{i}\sim N(0,\sigma$$_{d}^{2}).$${}$ 그러면$$

${\displaystyle {\hat {x}}_{i$$}=\left({\frac {1/\sigma _{x}^{2}}{1/\sigma _{x}^{2}+1/\sigma _{d}^{2}}}\mu +{\frac {1/\sigma _{d}^{2}}{1/\sigma _{x}^{2}+1/\sigma _{d}^{2}}}d\right)+\left({\frac {1/\sigma _{x}^{2}}{1/\sigma _{x}^{2}+1/\sigma _{d}^{2}}}\xi _{i}+{\frac {1/\sigma _{d}^{2}}{1/\sigma _{x}^{2}+1/\sigma _{d}^{2}}}\epsilon _{i}\right)}$.

첫 번째 합은 후행 평균이고, 두 번째 합은 독립성을 고려하여 분산을 가진다.

${\displaystyle \left({\frac {1/\sigma _{x}^{2}}{1/\sigma _{x}^{2}+1/\sigma _{d}^{2}}}\right)^{2}\sigma _{x}^{2}+\left($${\frac {1/\sigma _{d}^{2}}{1/\sigma _{x}^{2}+1/\sigma _{d}^{2}}}\right)^{2}\sigma _{d}^{2}={\frac {1}{1/\sigma _{x}^{2}+1/\sigma _{d}^{2}}}}$,

후분산이야

그 EnKF 현재 샘플 공분산 C에 의해{C\displaystyle}, 앙상블 회원들로부터(이 앙상블 공분산라고 불리는)[6]그것은:K=CHT(HCHTR+)칼만 이득 매트릭스 K{K\displaystyle}에서 공분산 Q{Q\displaystyle}를 대체하고 − 1{\displaystyle K. 단순힌=CH$^{\mathrm {T} }\왼쪽(HCH^{\mathrm {T}}}+R\right)^{-1}$

실행

기본 제형

자, 따라간다.^[7][8]앙상블 매트릭스 $X{\displaystyle }$ ${\displaystyle X}$ 및$$ 데이터 $매트릭스{\displaystyle }$ D ${\displaystyle D}$이(가) 위와 같다고 가정해 보십시오.앙상블의 평균과 공분산은

${\displaystyle E\left(X\right)={\frac {1}{{N}\sum _{k=1}^{N}\mathbf {x} _{k},\quad C={\frac {AA^{\}}T}{{N-1},}$

어디에

${\displaystyle A=X-E\left(X\right)\mathbf {e}{1\timeN}{{N}\좌(X\mathbf {e} _{N\time1\right)\mathb {e}\mathb {e} _{1\timeN}}}$

및 $e{\displaystyle \mathbf{}}$ ${\$는) 표시된 크기의 모든 행렬을 나타낸다$$.

그런 다음 후부 앙상블 $X{\displaystyle {}^{}}$ ${\displaystyle p^{}}$ ${\$ X$^{p}}$가 주어진다$$.

${\displaystyle X^{p}=X+CH^{T}\왼쪽(HCH^{T}+R\오른쪽)^{-1}(D-HX),}$

여기에서 동요된 데이터 매트릭스 $D{\displaystyle }$ ${\displaystyle D}$은(는) 위와 같다.

$R{\displaystyle }$ ${\displaystyle R}$이(가) 공분산 행렬이므로 항상 양의 세미데마인이트(semidefinite)이며 대개 양의 확정성이므로 위의 역이 존재하며 이 공식이 숄스키 분해에 의해 구현될 수 있다는 점에 유의한다.^[9]In,[7][8]R{R\displaystyle}은 샘플 공분산 D~ D~ T/(N1−){\displaystyle{\tilde{D}}{\tilde{D}}^ᆯ(N-1\right)}이 D일 xD− 1Nde1×N{\displaystyle{\tilde{D}}=D-{\frac{1}{N}에 의해}}{e}_{1\times N}d\,\mathbf고 인버스는 우편에 의해 대체된다 대체됩니다seudo역, 단수 값 분해(SVD)를 사용하여 계산.

이러한 공식은 레벨 3 연산이 지배적인 매트릭스 연산이기 때문에 라팩(직렬 및 공유 메모리 컴퓨터)과 스카라팩(분산 메모리 컴퓨터)과 같은 소프트웨어 패키지를 이용한 효율적인 구현에 적합하다.^[10][9]행렬의 역행렬을 계산하고 그것에 곱하는 대신, 행렬의 촐레스키 분해를 계산하고 역행렬에 의한 곱셈을 우측이 많은 선형 시스템의 해법으로 처리하는 것이 훨씬 더 좋다(몇 배 더 저렴하고 또한 더 정확하다).^[10]

관측 매트릭스 없는 구현

공분산 행렬을 앙상블 공분산 행렬로 대체했으므로, 이는 행렬 $H{\displaystyle }$ ${\displaystyle H}$을(를) 명시적으로 지정하지 않고 앙상블 관측치가 직접 사용되는 간단한 공식으로 이어진다$.$ 구체적으로는 형식의 $함수$ h${\displaystyle }$( ${\displaystyle x\mathbf{}}$) ${\displaystyle h(\mathbf {x})$를 정의한다.

${\displaystyle h(\mathbf {x} )=H\mathbf {x}.}$

함수 $h{\displaystyle }$ ${\displaystyle h}$을(를) 관측 함수 또는 역 문제 맥락에서 전방 연산자라고 한다.$h{\displaystyle }$( ${\displaystyle x\mathbf{}}$) ${\displaystyle$ h$(\mathbf {x})$의 값은 측정값이 정확하다고 가정할$$ 때 상태 $x{\displaystyle \mathbf{}}$ ${\$에 대한 데이터 값이다$$.그러면 후부 앙상블은 로 다시 쓰일 수 있다.

${\displaystyle X^{p}=X+{\frac {1}{{N-1}A\왼쪽(HA\오른쪽)^{T}P^{-1}(D-HX)}$

어디에

${\displaystyle HA=HX-{\frac {1}{N}\좌측(\좌측(HX\우측)\mathbf {e} _{N\time 1\우측)\mathbf {e} _{1\time N}$

그리고

${\displaystyle P={\frac {1}{N-1}HA\왼쪽(HA\오른쪽)^{T}+R,}$

와 함께

$왼쪽[왼쪽]HA\right]_{i}=H\mathbf {x} _{i}-H{\frac {1}{N}}\sum _{j=1}^{N}\mathbf {x} _{j}\ =h\left(\mathbf {x} _{i}\right)-{\frac {1}{N}}\sum _{j=1}^{N}h\left(\mathbf {x} _{j}\right).}$

따라서 앙상블 업데이트는 각 앙상블 멤버의 $관찰$ 함수 h ${\displaystyle$ h$}$을(를) 한 번 평가하여 계산할 수 있으며, 매트릭스 $H{\displaystyle }$ ${\displaystyle$ H$}$을(를) 명시적으로 알 필요가 없다$$.이 공식은 또한^[9] 고정 오프셋 $f{\displaystyle \mathbf{}}$ ${\displaystyle$ h(\$mathbf {x}$$$$)$가 있는 $관측$ 함수 $($ ${\displaystyle x\mathbf{}}$)${\displaystyle }$= ${\displaystyle \mathbf{H}}$x${\displaystyle \mathbf{}}$+ f ${\$ h$(\$$mathbf$ ${$$x}$$$)에 대해서도 포함되며$,$ 이 함수는 명시적으로 알 필요가 없다.위의 공식은 허리케인 소용돌이의 위치와 같은 비선형 관측 함수 $h{\displaystyle }$ ${\displaystyle h}$에 일반적으로 사용되어 왔다$.$^[11]이 경우 관측 함수는 앙상블 멤버에서 그 값으로부터 본질적으로 선형 함수에 의해 근사치가 된다.

다수의 데이터 지점에 대한 구현

많은$$ 수의 $m{\displaystyle }$ ${\displaystyle m}$ 데이터 포인트의 경우 $P{\displaystyle {}^{}}$- ${\displaystyle 1^{}}$ ${\$에 의한 곱셈이 병목 현상이 된다$$.다음의 대안 공식은 데이터 $포인트{\displaystyle }$ m ${\displaystyle m}$의 수가 크고$$(예: 그리드 데이터나 픽셀 데이터를 동화시킬 때) 데이터 오류 공분산 행렬 $R{\displaystyle }$ ${\displaystyle R}$이(데이터 오류와 상관관계가 없는 경우) 대각선이거나$$ 분해 비용이 저렴할 때(예: 로 인해 밴딩됨)에 유리하다.제한된 공분산 거리).셔먼-모리슨 사용-우드베리 공식^[12]

${\displaystyle (R+UV^{T}^{-1}^{-1}-R^{-1}U)^{-1}U(I+V^{T^{-1}U)^{-1}V^{T^{T}R^{-1}}}^{-1},}$

와 함께

${\displaystyle U={\frac {1}{N-1}HA,\quad V=HA,}$

주다

${\displaystyle {\begin{aigned}P^{-1}=\left(R+{\frac {1}{N:1}})HA\왼쪽(HA\오른쪽)^{T}\오른쪽)^{-1}^{-1}\\\&=R^{-1}\왼쪽[I-{\frac {1}{{N-1}\왼쪽(HA\오른쪽)\왼쪽(I+\왼쪽(HA\오른쪽)^{T}R^{-1}{\frac {1}{{N-1}}\왼쪽(HA\오른쪽)^{-1}\왼쪽(HA\오른쪽)^{T}R^{-1}\right],\end{aigned}}$

여기에는 매트릭스 $R{\displaystyle }$ ${\displaystyle R}$이($$가격이 저렴한 것으로 가정) 있는 시스템 및 우측$$ $m{\displaystyle }${\$displaystyle m}$이(가) 있는 $N{\displaystyle }$ ${\displaystyle N}$ 크기의 시스템 솔루션만 필요하다.작업 수는 을 참조하십시오^[9].

추가 확장

여기서 설명한 EnKF 버전은 데이터의 무작위화를 포함한다.데이터의 랜덤화가 없는 필터의 경우 항목을 참조하십시오.^[13][14][15]

앙상블 공분산은 계급이 부족하기 때문에(일반적으로 앙상블 멤버보다 국가 변수, 수백만 개가 더 많으며, 전형적으로 100개 미만), 공간적으로 먼 포인트 쌍을 나타내는 용어가 크다.실제 먼 곳의 물리적 필드 값은 그다지 상관관계가 없기 때문에 공분산 행렬은 거리에 따라 인위적으로 테이프로 분리되어 국부적인 EnKF 알고리즘이 발생한다.^[16][17]이 방법들은 계산에 사용된 공분산 행렬을 수정하고, 결과적으로, 후부 앙상블은 더 이상 이전 앙상블의 선형 조합으로만 만들어지지 않는다.

비선형적인 문제의 경우, EnKF는 비물리적 상태와 함께 후방 앙상블을 만들 수 있다.이는 공간 구배가 큰 주에 대한 벌칙과 같은 규칙화를 통해 완화될 수 있다.^[6]

허리케인, 뇌우, 화염선, 스콜라인, 우전선과 같은 일관성 있는 특징에 문제가 있는 경우, 상태 진폭을 추가적으로 보정하는 것뿐만 아니라 공간(그리드)의 상태를 변형시켜 수치 모델 상태를 조정할 필요가 있다.2007년에 Ravela 등은 앙상블을 사용한 관절 위치-진폭 조정 모델을 도입하고, 체계적으로 EnKF와 다른 제형에 적용할 수 있는 순차 근사치를 도출한다.^[18]그들의 방법은 진폭과 위치 오류가 다른 것과 같이 독립적이거나 공동으로 가우스적이라는 가정을 하지 않는다.morping EnKF는 상태의 선형 결합 대신 영상 등록과 morping에서 빌린 기법으로 얻은 중간 상태를 사용한다.^[19][20]

enKF는 가우스 가정이 충족되지 않을 수 있는 비선형 문제에 실제로 사용되지만 가우스 가정에 의존한다.연관된 필터의 장점을 보존하기 EnKF의 가우스 추정 긴장을 풀기 위해 시도하는 가우스에 의해 주 pdf거의 정확한 여러 가우스 kernels,[21]필터를 가진 국가 pdf에 맞는 필터 포함한다 mixtures,[22]입자 무게의 밀도 estimation,[20]과 변형에 의해 계산을 입자 여과기의 변형이다.그 우열의입자 필터 변질을 완화하기 위한 두꺼운 꼬리 데이터 PDF가 있는 티클 필터.^[23]

참고 항목

• 데이터 동화
• 수치적 기상예측#앙상블
• 입자 필터
• 재귀 베이시안 추정

참조

외부 링크

• EnKF 웹 페이지
• TOPAZ, EnKF와 함께 북대서양과 북극해빙 실시간 예측
• EnKF-C, EnKF를 통해 대규모 레이어 지구물리학적 모델에 데이터 동화를 위한 컴팩트한 프레임워크
• PDAF – 병렬 데이터 동화 프레임워크 – 다양한 종류의 EnKF를 제공하는 데이터 동화를 위한 오픈 소스 소프트웨어