후방예측분포

베이지안 통계에서 후방 예측 분포는 관측된 값을 조건으로 가능한 관측되지 않은 값의 분포다.^[1]^[2]

Given a set of N i.i.d. observations $\mathbf {X} =\{x_{1},\dots ,x_{N}\}$ , a new value ${\tilde {x}}$ will be drawn from a distribution that depends on a parameter $\theta \in \Theta$ :

p({\tilde {x} \theta )

$\theta$ 에 $\hat{\theta}$ 대해 하나의 최선의 추정치 ${\hat {\theta }}$ ${\$ 을(를) 연결하는 것이 유혹적으로 보일 수 있지만 $\theta$ 이는 $\theta$ ${\displaystyle \theta$ 에 대한 불확실성을 무시하며, 불확실성의 원천이 무시되기 때문에 예측 분포가 너무 좁게 된다.다른 방법으로, ${\tilde {x}}$ ~ ${\$ 의 극단값 예측은 이들의 후방 분포에 의해 주어진 파라미터의 불확실성을 설명하는 경우보다 낮은 확률을 가질 것이다 ${\tilde {x}}$ .

후방 예측 분포는 $\theta$ $\theta$ 에 대한 불확실성을 설명한다 $\theta$ 가능한 $\theta$ $\theta$ 값의 $\theta$ 후방 $\mathbf {X}$ 는 X ${\$ 에 따라 달라진다 $\mathbf {X}$

p(\theta \mathbf {X} )

${\tilde {x}}$ $\mathbf {X}$ ${\$ $\$ $mathbf {X}$ 이 ${\tilde {x}}$ $($ 가) 주어진 x ${\tilde {x}}$ ~ ${\$ displaystyle $\mathbf$ { $x}$ 의 후방 예측 분포는 $\theta$ {\ $displaystyle$ $\teta$ }이 ${\tilde {x}}$ (가 $)$ 주어지는 $\theta$ distribution ${\displaystystyle$ \te}의 $\theta$ ${\tilde {x}}$ 에 대해 x ${\tilde {x}}$ ~ ${\tilde {x}}$ {\ta $}$ 의 분포를 한계화하여 $\mathbf {X}$ 계산한다. $\mathbf {X}$ X ${\$

p({\tilde {x} \mathbf {X})=\int _{\\Theta }p({\tilde {x} \teta ,\mathbf {X} )\,p(\teta \mathbf {X} )\operatorname {d} \!\teta

$\theta$ ${\displaystyle \theta$ 에 대한 불확실성을 설명하기 때문에, 후방 예측 분포는 $\theta$ 으로 { $\theta$ {\ $displaystyle \theta$ 에 대한 단일 최선의 추정치에 연결되는 예측 분포보다 넓을 것이다.

사전 대 후방 예측 분포

베이지안적 맥락에서 선행 예측 분포는 이전 분포에 대해 소외된 데이터 지점의 분포다.That is, if ${\tilde {x}}\sim F({\tilde {x}} \theta )$ and $\theta \sim G(\theta \alpha )$ , then the prior predictive distribution is the corresponding distribution $H({\tilde {x}} \alpha )$ , where

p_{H}({\tilde {x}) \alpha )=\int_{\\teta }{p_{F}({\tilde {x}}\tea )\,p_{G}(\ta \alpha )\operatorname {d}!\ta

이는 한계화(또는 동등하게 기대)가 후분포 대신 선행분포에 대해 취해진다는 점을 제외하고는 후분포 예측분포와 유사하다.

더욱이 사전 분포 $G(\theta |\alpha )$ ( $G(\theta |\alpha )$ $){\displaystyle$ G $(\theta \alpha )}}$ 가 결합 전이라면 $G(\theta |\alpha )$ , 후방 예측 분포는 이전 예측 분포와 동일한 분포군에 속하게 된다.이것은 보기 쉽다.이전 분포 $G(\theta |\alpha )$ $G(\theta |\alpha )$ ) ${\displaystyle$ G $(\theta \alpha )}$ 이(가) 결합인 $G(\theta |\alpha )$ 경우

p(\theta \mathbf {X},\alpha )=p_{G}(\theta \alpha '),

즉, 후분포 역시 $G(\theta |\alpha ),$ ( $G(\theta |\alpha ),$ ) $G(\theta |\alpha ),$ , ${\displaystyle$ G $(\theta \alpha ),}$ 에 $G(\theta |\alpha ),$ 속하지만, 단순히 원래의 매개 변수 $\alpha .$ . . {\displaystyle $\alpha .}$ 이 $\alpha '$ 아닌 다른 매개 변수 $\alpha '$ α ${$ ${\displaystystyle$ \alpha $\alpha '$ '}에 $\alpha .$ 속한다.

{\begin{aligned}p({\tilde {x}} \mathbf {X} ,\alpha )&=\int _{\theta }p_{F}({\tilde {x}} \theta )\,p(\theta  \mathbf {X} ,\alpha )\operatorname {d} \!\theta \\&=\int _{\theta }p_{F}({\tilde {x}} \theta )\,p_{G}(\theta  \alpha ')\operatorname {d} \!\theta \\&=p_{H}({\tilde {x}} \alpha ')\end{aligned}}

따라서 후방 예측 분포는 이전 예측 분포와 동일한 분포 H를 따르지만, 하이퍼 파라미터의 후방 값이 이전 예측 분포로 대체된다.

이전의 예측 분포는 복합 분포의 형태로, 데이터 $\mathbf {X}$ ${\$ 에 대한 의존성 및 $\mathbf {X}$ 결합성 문제와 같은 복잡한 요인이 없기 때문에, 실제로 복합 분포를 정의하는 데 종종 사용된다.예를 들어 학생의 t-분포는 평균 μ를_x² 알 수 있지만 알 수 없는 분산이 있는 정규 분포의 사전 예측 분포로 정의될 수 있으며, σ에는_x² 결합 전 스케일-인버스-치-제곱 분포가 배치되어 있고, σ에는 하이퍼모수 ν과 σ이² 있다.결과 복합 분포 $t(x|\mu ,\nu ,\sigma ^{2})$ ( $t(x|\mu ,\nu ,\sigma ^{2})$ , $t(x|\mu ,\nu ,\sigma ^{2})$ , $t(x|\mu ,\nu ,\sigma ^{2})$ 2 $t(x|\mu ,\nu ,\sigma ^{2})$ ) ${\displaystyle t(x \mu ,\nu ,\sigma ^{2})$ 는 $t(x|\mu ,\nu ,\sigma ^{2})$ 실제로 비표준화된 학생의 t 분포이며, 이 분포에서 가장 일반적인 두 가지 매개 변수 중 하나를 따른다.그런 다음, 해당 후방 예측 분포는 다시 학생의 t가 되어, 후방 분포에 나타나는 $\nu ',{\sigma ^{2}}'$ 업데이트된 하이퍼 파라미터 $\nu ',{\sigma ^{2}}'$ , $\nu ',{\sigma ^{2}}'$ $\nu ',{\sigma ^{2}}'$ $\nu ',{\sigma ^{2}}'$ ${\$ 도 후방 예측 분포에 직접 나타날 것이다.

어떤 경우에는 적절한 복합분포를 현재 당면한 문제의 예측분포에 가장 자연스러울 수 있는 매개변수화와는 다른 매개변수를 사용하여 정의한다.복합분포를 정의하는 데 사용된 이전 분포가 현재 문제에서 사용된 분포와 다르기 때문에 이러한 결과가 나타나는 경우가 많다.예를 들어, 위에 표시된 것처럼 학생의 t-분포는 분산에 배치된 스케일-인버스-치-제곱 분포의 관점에서 정의되었다.그러나 이러한 상황에서는 역 감마 분포를 이전의 결합으로 사용하는 것이 더 일반적이다.이 둘은 사실 매개변수화를 제외하고 동등하다. 따라서 학생의 t-분포는 여전히 예측 분포에 사용될 수 있지만, 하이퍼 파라미터는 플러그에 연결하기 전에 다시 측정해야 한다.

지수 패밀리에서

모든 분포가 아닌 대부분의 공통적인 분포 집단은 지수 분포 집단에 속한다.지수 계열은 유용한 속성을 많이 가지고 있다.그 중 하나는 모든 구성원이 결합 전 분포를 갖는 반면, 다른 분포는 거의 결합 전 분포를 가지고 있지 않다는 것이다.

지수 패밀리의 사전 예측 분포

또 다른 유용한 특성은 결합 사전 분포에 대해 소외된 지수 가족 분포의 사전 예측 분포에 해당하는 복합 분포의 확률 밀도 함수를 분석적으로 결정할 수 있다는 것이다.Assume that $F(x {\boldsymbol {\theta }})$ is a member of the exponential family with parameter ${\boldsymbol {\theta }}$ that is parametrized according to the natural parameter ${\boldsymbol {\eta }}={\boldsymbol {\eta }}({\boldsymbol {\theta }$ $)}$ , 및 배포됨

p_{F}(x {\boldsymbol {\eta }})=h(x)g({\boldsymbol {\eta }})e^{\boldsymbol{\rm{T}\mathbf {T}(x)}}

$G({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )$ ( $G({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )$ ( $G({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )$ , $G({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )$ ) ${\displaystyle$ G $({\boldsymbol {\eta }}}}}{\boldsymbol {\chi },\nu )}$ 이 $G({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )$ (가) 적절한 결합 전이고, 다음과 같이 분배된다.

p_{G}({\boldsymbol {\eta }} {\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )g({\boldsymbol {\eta }})^{\nu }e^{{\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}}

그러면 사전 예측 분포 $H$ ${\displaystyle H}($ $G$ $G$ 과 $F$ (와) F $F$ 을(를) 혼합한 결과 $G$ 가 된다.

{\displaystyle{\begin{정렬}(){\boldsymbol{\chi}},\nu)&, ={\displaystyle \int \limits_{\boldsymbol{\eta}}p_ᆰ(){\boldsymbol{\eta}})p_ᆱ({\boldsymbol{\eta}}{\boldsymbol{\chi}},\nu)\,\operatorname{d}{\boldsymbol{\eta}}}\\&, ={\displaystyle \int \limits_{\boldsymbol{\eta}}h())g({\boldsymbol{\eta}})e^{{\boldsymbol.{\eta}}^{\rm{T}}}};={\displaystyle h())f({\boldsymbol{\chi}},\nu)\int \limits_{\boldsymbol{\eta}}g({\boldsymbol{\eta}})^{\nu+1}e^{{\boldsymbol{\eta}}^{\rm{T}}({\bold{T}())}f({\boldsymbol{\chi}},\nu)g({\boldsymbol{\eta}})^{\nu}e^{{\boldsymbol{\eta}}^{\rm{T}}{\boldsymbol{\chi}\,\operatorname{d}{\boldsymbol{\eta}}}\\& \mathbf.symbol {\chi }}+\mathbf {T} (x))}\,\operatorname {d} {\boldsymbol {\eta }}}\\&=h(x){\dfrac {f({\boldsymbol {\chi }},\nu )}{f({\boldsymbol {\chi }}+\mathbf {T} (x),\nu +1)}}\end{aligned}}}

The last line follows from the previous one by recognizing that the function inside the integral is the density function of a random variable distributed as $G({\boldsymbol {\eta }} {\boldsymbol {\chi }}+\mathbf {T} (x),\nu +1)$ , excluding the normalizing function ${\displays$ $tyle f(\dots )\,}$ 따라서 통합의 결과는 정규화 함수의 역수가 될 것이다 $f(\dots )\,$

The above result is independent of choice of parametrization of ${\boldsymbol {\theta }}$ , as none of ${\boldsymbol {\theta }}$ , ${\boldsymbol {\eta }}$ and $g(\dots )\,$ appears. ( $g(\dots )\,$ is a function of 매개변수 및 따라서 매개변수의 선택에 따라 다른 형태를 가정한다.) $F$ $F$ 및 $G$ $G$ 의 표준 선택에 대해서는 자연 매개변수의 관점에서 다시 쓰는 것보다 일반적인 매개변수로 직접 작업하는 것이 더 쉬운 경우가 많다 $G$

적분이 추적 가능한 이유는 사전 분포와 우도의 산물로 정의된 밀도의 정규화 상수를 계산하기 때문이다.두 가지가 결합일 때 제품은 후분포로서 가정에 의해 이 분포의 정규화 상수가 알려져 있다.위에 나타낸 것처럼 복합분포의 밀도함수는 특정 형태를 따르며, $F$ ${\displaystyle$ F $F$ 의 밀도함수의 일부를 구성하는 $h(x)$ h $h(x)$ ( $h(x)$ ) $h(x)$ 의 곱과 $G$ ${\displaystyle G$ 1 데리(deri)에 대한 정규화 "일정"의 두 가지 형태의 몫으로 구성된다.이전 분포로부터 다른 분포는 후분포로부터 왔다.베타 이항 분포는 이 과정이 어떻게 작용하는지를 보여주는 좋은 예다.

그러한 분포의 분석적 추적성에도 불구하고, 그들은 그 자체로 보통 지수 계열의 구성원이 아니다.예를 들어 3-모수 학생 t 분포, 베타 이항 분포, 디리클레 다항 분포는 모두 지수 분포의 예측 분포(각각 정규 분포, 이항 분포, 다항 분포)이지만 지수 분포의 구성원은 하나도 없다.이는 ${\boldsymbol {\chi }}+\mathbf {T} (x)$ + ${\boldsymbol {\chi }}+\mathbf {T} (x)$ ( $){\displaystyle {\boldsymbol {\chi }+\mathbf {T}(x)}}$ 에 대한 기능 의존성이 존재하기 때문에 위와 같이 볼 수 있다 ${\boldsymbol {\chi }}+\mathbf {T} (x)$ 지수 분포에서는 전체 밀도 함수를 변수, (2) 요인만을 포함하는 세 가지 유형의 곱셈 계수로 구분할 수 있어야 한다.변수 및 모수 사이에서 로그가 인수되는 요인 및 (3)개 변수만 포함. ${\boldsymbol {\chi }}+\mathbf {T} (x){\chi }$ + ${\boldsymbol {\chi }}+\mathbf {T} (x){\chi }$ ( x ${\boldsymbol {\chi }}+\mathbf {T} (x){\chi }$ ) ${\boldsymbol {\chi }}+\mathbf {T} (x){\chi }$ ${\$ $f(\dots )\,$ x $){\$ 이 $f(\dots )\,$ 가) 없으면 해당 $f(\dots )\,$ 를 완전히 무시하거나 표현 $f(\dots )\,$ $지수$ 에서만 사용할 수 없다 ${\boldsymbol {\chi }}+\mathbf {T} (x){\chi }$ .

지수 패밀리의 후방 예측 분포

결합 전을 사용할 때, 후방 예측 분포는 이전 예측 분포와 동일한 패밀리에 속하며, 매개변수의 후방 분포를 위한 업데이트된 하이퍼 매개변수를 이전 예측 분포를 위한 공식에 연결하기만 하면 결정된다.지수 패밀리 분포에 대한 후방 업데이트 방정식의 일반적 형식을 사용하여(지수 패밀리 기사의 해당 섹션 참조) 후방 예측 분포에 대한 명시적 공식을 작성할 수 있다.

{\begin{array}{lcl}p({\tilde {x}) \mathbf {X},{\boldsymbol{\chi},\nu )&p_{{}H}\왼쪽({\tilde{x}}) {\boldsymbol {\chi }+\mathbf {T}(\mathbf {X}),\nu +N\오른쪽)\end{array}}}}}

어디에

\mathbf {T}(\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T}(x_{i})

이는 일련의 관측치에 대한 후방 예측 분포가, 관측치가 이전의 적절한 결합을 가진 지수 집단을 따르는 경우, 복합 분포와 동일한 확률 밀도를 가지며, 위에 명시된 매개변수를 가지고 있음을 보여준다.관측치 자체는 형식 T $\mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).$ ) = $\mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).$ i = $\mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).$ $\mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).$ T $\mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).$ ( $\mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).$ ) $\mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).$ . $\mathbf {T} (\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T} (x_{i}).$ {\ $displaystyle \mathbf {T}(\mathbf {X} )=\sum _{i=1}^{N}\mathbf {T}(x_{i$ })에만 입력된다 $.$ $}$

관측치에 대한 충분한 통계량이라고 불리는데, 이는 관측치에 기초하여 후방 또는 후방 예측 분포를 계산하기 위해 관찰에 대해 알아야 할 모든 것(또는 그 물질의 경우, 한계우도 등 관측의 가능성에 기초하는 다른 모든 것)을 알려주기 때문이다.

공동 예측 분포, 한계우도

또한 공유 매개변수에 대한 사전 분포와 동일한 독립 분포 표본의 고정 개수에 대한 공동 분포의 복합 결과도 고려할 수 있다.베이지안 환경에서 이것은 여러 새로운 관측치의 선행 또는 후행 예측 분포를 계산하고 관측된 데이터의 한계우도(베이지 법칙의 분모)를 계산하는 등 다양한 맥락에서 나타난다.표본의 분포가 지수 계열에서 나온 것이고 선행 분포가 결합인 경우, 결과 복합 분포는 추적 가능하며 위의 표현과 유사한 형태를 따를 것이다. $사실$ N $N$ 관측치에 $N$ 대한 $\mathbf {X} =\{x_{1},\dots ,x_{N}\}$ $\mathbf {X} =\{x_{1},\dots ,x_{N}\}$ X $\mathbf {X} =\{x_{1},\dots ,x_{N}\}$ = $\mathbf {X} =\{x_{1},\dots ,x_{N}\}$ { x $\mathbf {X} =\{x_{1},\dots ,x_{N}\}$ , $\mathbf {X} =\{x_{1},\dots ,x_{N}\}$ … $\mathbf {X} =\{x_{1},\dots ,x_{N}\}$ , x $\mathbf {X} =\{x_{1},\dots ,x_{N}\}$ $\mathbf {X} =\x_{1},\dots ,x_{N}\}}}$ 의 합동 복합 분포는 다음과 같은 것을 쉽게 알 수 있다.

p_{H}(\mathbf {X}  {\boldsymbol {\chi }},\nu )=\left(\prod _{i=1}^{N}h(x_{i})\right){\dfrac {f({\boldsymbol {\chi }},\nu )}{f\left({\boldsymbol {\chi }}+\mathbf {T} (\mathbf {X} ),\nu +N\right)}}

단일 복합 분포에 대한 이 결과와 위의 결과는 다변량 가우스 분포와 같이 벡터 값 관측치를 통한 분포의 경우로 경미하게 확장된다.

Gibbs 샘플링과의 관계

붕괴된 Gibbs sampler에서 노드를 붕괴시키는 것은 복합화와 같다.결과적으로, 동일한 독립적 분산(즉.d.) 노드 집합이 모두 동일한 이전 노드에 의존하고, 그 노드가 축소되었을 때, 다른 노드뿐만 아니라 다른 노드에 주어진 조건부 확률(예: 다른 노드에는 조건화되지 않음)은 포스텀과 동일하다.나머지 모든 I.I.D 노드의 예측 분포(또는 붕괴 시 노드 간 종속성이 발생하기 때문에 더 정확히 말하자면 이전의 I.I.d 노드)즉, 노드의 모든 부모를 모든 자식에게 직접 부착하고, 각 자식과 관련된 이전의 조건부 확률 분포를 부모에 조건부 조건부 자녀에 대한 대응 후방예측분포로 대체하는 것만으로 노드에서 붕괴되는 것을 구현하는 것이 일반적으로 가능하다.제거된 노드의 자식인 ly.i.d. 노드.예를 들어, 보다 구체적인 논의와 특정 까다로운 문제에 대한 몇 가지 주의사항은 Dirichlet-다중 분포 문서를 참조하십시오.

참고 항목

참조

^ "Posterior Predictive Distribution". SAS. Retrieved 19 July 2014.
^ Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis (Third ed.). Chapman and Hall/CRC. p. 7. ISBN 978-1-4398-4095-5.

[1] "Posterior Predictive Distribution". SAS. Retrieved 19 July 2014.

[BDA3-2] Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis (Third ed.). Chapman and Hall/CRC. p. 7. ISBN 978-1-4398-4095-5.

[1]

[2]

Search