베키아 근사치

이 기사는 통계학 전문가의 주의를 필요로 한다.구체적인 문제는 콘텐츠와 소싱에 대한 검토가 필요하다는 것이다. 위키프로젝트 통계는 전문가 영입에 도움이 될 수 있다(2020년 10월)

베키아 근사치는 미국 지질조사국의 통계학자 알도 베키아(Aldo Vecchia)가 원래 개발한 가우스 공정 근사 기법이다.가우스 공정을 고차원적 설정으로 사용하려는 가장 초기 시도 중 하나이다.그 후 그것은 많은 현대적 근사치를 낳으면서 광범위하게 일반화되었다.null

직감

$, B, B,$ C$)$로 표시된$$$이벤트{\displaystyle }$ ${\displaystyle A,}$ B ${\displaystyle A,B}$및 C ${\$$displaystyle C$$}$에 대한 공동 확률 분포는 다음과 같이 표현할 수 있다$.$

${\displaystyle P(A,B,C)=P(A)P(B A)P(C A,B)}$

예를 들어, 베키아의 근사치는 형태를 취한다.

$[\displaystyle P(A,B,C)\약간 P(A)P(B A)P(C A)}$

$이벤트{\displaystyle }$ $B{\displaystyle }$ ${\displaystyle B}$ 및 C ${\displaystyle C}$이(가) A ${\displaystyle A}$에 대한 지식으로 인해 조건상 독립적일 때 정확하다$.$ 물론 근사치를 선택할 수도 있었다.

$[\displaystyle P(A,B,C)\관련 P(A)P(B A)P(C B)}$

따라서 근사치를 사용하려면 어떤 사건이 다른 사건들에 주어진 조건상 독립성에 가까운지 어느 정도의 지식이 필요하다.더구나 다른 순서를 선택할 수도 있었을 텐데, 예를 들면.

$[\displaystyle P(A,B,C)\약간 P(C)P(C A)P(B A)]}$

다행히도, 많은 경우 근사치를 구성하는 방법에 대한 결정을 내리는 좋은 휴리스틱스가 있다.null

좀 더 기술적으로, 근사치의 일반 버전은 정밀도 매트릭스의 희박한 숄스키 인자를 유도한다.표준 Cholesky 인자화를 사용하면 독립성이 없음을 나타내는 0과의 조건부 상관관계로 해석할^[1] 수 있다(모델이 가우스인이므로).이러한 독립 관계는 그래픽 모델을 사용하여 대안으로 표현할 수 있으며, 숄스키 인자의 그래프 구조와 정점 순서를 0과 연결하는 이론이 존재한다.특히 도덕적 그래프로 부호화된 독립성은 채우기(fill-in)가 없는 정밀 행렬의 숄스키 인자로 이어지는 것으로 알려져^[2] 있다.null

형식 설명

문제

Let ${\displaystyle x}$ be a Gaussian process indexed by ${\displaystyle {\mathcal {S}}}$ with mean function ${\displaystyle \mu }$ and covariance function ${\displaystyle K}$. Assume that ${\displaystyle S=\{s_{1},\dots ,s_{n}\}\subset {\mathcal {S}}}$ is a finite subset of ${\displaystyle {\mathcal {S}}}$ and ${\displaystyle \mathbf {x} =(x_{1},\dots ,x_{n}))}$ is a vector of values of ${\displaystyle x}$ evaluated at ${\displaystyle S}$, i.e. ${\displaystyle x_{i}=x(s_{i})}$ for ${\displaystyle$$i=1,\dots ,n}$. Assume further, that one observes ${\displaystyle \mathbf {y} =(y_{1},\dots ,y_{n})}$ where ${\displaystyle y_{i}=x_{i}+\varepsilon _{i}}$ with ${\displaystyle \varepsilon _{i}{\overset {\text{i.i.d.$$}}{\sim }{\mathcal{N}}(0,\sigma ^{2$ 이러한 맥락에서 가장 일반적인 두 가지 추론 작업은 가능성 평가를 포함한다.

${\displaystyle {\mathbf {y}}=\int f(\mathbf {y},\mathbf {x}),\d\mathbf {x},}$

${\displaystyle 또는\mathcal{}}$ $s{\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ {$$S {\$displaystyle$ s$^{*}\in {S$} $및{\displaystyle }$ ${\displaystyle s}${$$S {\$displaystyle s\not \in$ S$\},$ 즉 $계산$에$대한$ x {\displaystyle $s}$의 값을 예측하는 경우

${\displaystyle f(x(s^{*})\mid y_{1},\reason,y_{n}).}$

오리지널 제형

원래의 베키아 방법은 관측치 $f{\displaystyle }$( ${\displaystyle y\mathbf{}}$)${\displaystyle }$=${\displaystyle }$( ${\displaystyle {y\mathrm{}}_{}}$ ${\displaystyle {}_{}{}_{}}$,${\displaystyle }$…${\displaystyle }$, ${\displaystyle y_{}}$) ${\$의 관절 밀도가 조건부 분포의 산물로 기록될$$ 수 있다는 관찰로 시작한다.

${\displaystyle f(\mathbf {y} )=f(y_{1})\prod _{i=2}^{nf(y_{i}\mid y_{i-1}},\mid y_{i-1},\modes,y_{1}).}$

Vecchia 근사치에서는 대신 $일부{\displaystyle }$ k${\displaystyle \mathrm{nn}}${\$displaystyle k\ll$ n$}$을(를) 가정한다.

${\displaystyle {\f}(\mathbf {y} )=f(y_{1})\prod _{i=2}^{nf(y_{i}\mid y_{i-1}},\max(i-k,1)).}$

베치아는 또한 위의 근사치를 공간 좌표를 사용하여 사전 편찬적으로 다시 정렬된 관찰에 적용할 것을 제안했다.그의 간단한 방법은 많은 약점이 있지만, $계산상$의 복잡성을 O${\displaystyle }$(${\displaystyle n}$ k ${\displaystyle {3\mathrm{}}^{}}$ $){\displaystyle {\mathcal{O}(nk^{3})$로 줄였다$.$ 그 결점의 많은 부분은 이후의 일반화에 의해 해결되었다.null

일반 제형

개념적으로 단순하지만, 베키아 근사치의 가정은 종종 상당히 제한적이고 부정확한 것으로 증명된다.^[3]이것은 수년 동안 기본 버전에 소개된 중요한 일반화와 개선들, 즉 잠재 변수의 포함, 보다 정교한 조건화 및 보다 나은 순서화에 영감을 주었다.일반적인 베키아 근사치의 다른 특별한 경우는 이 세 가지 요소를 선택하는 방법에 따라 설명할 수 있다.^[4]null

잠재 변수

To describe extensions of the Vecchia method in its most general form, define ${\displaystyle z_{i}=(x_{i},y_{i})}$ and notice that for ${\displaystyle \mathbf {z} =(z_{1},\dots ,z_{n})}$ it holds that like in the previous section

${\displaystyle f(\mathbf {z} )=f(x_{1}, y_{1})\좌(\prod_{i}{n^{n(x_{i}\mid z_{1:i-1}\우)\좌(\prod _{n=1}^{n_{i}우)}$

$x{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$가 지정된 다른$$ 모든 변수는 y ${\displaystyle i_{}}$ ${\$와 독립적이기 때문이다$.$

주문

$S{\displaystyle \mathcal{}}$ ${\$이(가) 2차원일$$ 때 좌표를 기준으로 한 원래 사전 편찬 순서는 결과가 좋지 않다는 것이 널리 알려져 왔다.^[5]보다 최근에 또 다른 순서가 제안되었는데, 그 중 일부는 준랜덤 방식으로 포인트가 주문되도록 한다.확장성이 뛰어나 정확도를 획기적으로 향상시킨 것으로 나타났다.^[3]null

조건화

위에서 설명한 기본 버전과 유사하게, 주어진 주문에 대해 일반적인 Vecchia 근사치는 다음과 같이 정의될 수 있다.

${\displaystyle {\hat {f}}(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=1}^{n}f(x_{i}\mid z_{q(i)})\right)\left(\prod _{i=1}^{n}f(y_{i}\mid x_{i})\right),}$

where ${\displaystyle q(i)\subset \left\{1,\dots ,i-1\right\}}$. Since ${\displaystyle y_{i}\perp x_{-i},y_{-i}\mid x_{i}}$ it follows that ${\displa$$ystyle f(x_{i}\mid z_{q(i)})=f(x_{i}\mid x_{q}(i),y_{q}(i))=f(x_{i}\mid x_{q}(i))}$ since suggesting that the terms ${\displaystyle f(x_{i}\mid z_{q(i)})}$ be replaced with ${\displaystyle f(x_{i}\mid x_{q(i)})}$. It turns out, however, that sometimes conditioning on some of t그는 $관찰{\displaystyle {}_{}}$ z ${\displaystyle i_{}}${\$displaystyle z_{i}$의 정밀 행렬$({\displaystyle x\mathbf{}}$,${\displaystyle y\mathbf{}}$ $){\displaystyle$(\$mathbf {x}$,\$mathbf {y}$ )}의 Cholesky 인수의 첨탑성을 증가시킨다$.$Therefore, one might instead consider sets ${\displaystyle q_{y}(i)}$ and ${\displaystyle q_{x}(i)}$ such that ${\displaystyle q(i)=q_{y}(i)\cup q_{x}(i)}$ and express ${\displaystyle {\hat {f}}}$ as

${\displaystyle {\hat {f}}(\mathbf {z} )=f(x_{1},y_{1})\left(\prod _{i=1}^{n}f(x_{i}\mid x_{q_{x}(i)},y_{q_{y}(i)})\right)\left(\prod _{i=1}^{n}f(y_{i}\mid x_{i})\right).}$

(나는){\displaystyle q_{y}(나는)하는 스페인 q을 고르는 여러 방법}와 q)(나는){\displaystyle q_{)}(나는)}, 이 중 가장 두드러진 것은nearest-neighbour 가우스 과정(NNGP)[6]process[7]의 다중 해상도 근사(MRA)접근법 q(나는)를 사용하여 가우스)q)(나는){\displaystyle q(나는)=q_{)}meshed 제안한 바 있다.(나는)}, $q{\displaystyle }$(${\displaystyle i}$ )${\displaystyle }$= ${\displaystyle q}$ ${\displaystyle y_{}}$( i${\displaystyle }$) ${\displaystyle q(i)=q_{y}(i)}$ 및 스파스$$ General Vecchia(여기서 ${\displaystyle q_{}}$(${\displaystyle i)}$ ${\displaysty q_{y}(i)}$ 및$$$$ ${\displaystyle q_{}}$(${\displaystyle i)}$ ${\displaystystyle$ ^[4]$q_{x}(i)}}}.$null

소프트웨어

베키아 근사치의 일부 변형을 구현하는 몇 가지 패키지가 개발되었다.null

• GPvecchia는 대부분의 버전의 Vecchia 근사치를 구현하는 CRAN(R 프로그래밍 언어)을 통해 사용할 수 있는 R 패키지다.
• GpGp는 공간 문제에 대해 확장 가능한 순서 방식을 구현해 정확도를 크게 향상시키는 CRAN(R 프로그래밍 언어)을 통해 이용할 수 있는 R 패키지다.
• spNNGP는 잠재 Vecchia 근사치를 구현하는 CRAN(R 프로그래밍 언어)을 통해 사용할 수 있는 R 패키지다.
• pyMRA는 다기능 근사치를 구현하는 PyPI를 통해 이용할 수 있는 Python 패키지로, 동적 상태-공간 모델에 사용되는 일반적인 Vecchia 방식의 특수한 경우
• 메쉬드(meshed)는 CRAN(R 프로그래밍 언어)을 통해 이용할 수 있는 R 패키지로서, Becchia 근사치를 이용하여 잠재된 MGP(Meshed Gaussian Process, MGP)를 기반으로 한 베이지안 공간 또는 주피질 다변량 회귀 모델을 구현한다.

메모들