베이시안 모델 축소

베이지안 모델 감소는 베이지안 모델들이 이전 모델들과 다른 변수들에 대한 증거와 후면을 계산하는 방법이다.^[1][2]전체 모델은 표준 접근법을 사용하여 데이터에 적합된다.그런 다음 대체(일반적으로 더 제한적인) 이전(일반적으로)을 사용하여 하나 이상의 '축소된' 모형을 정의하여 가설들을 테스트한다. 이 모형은 대개 한계에서 특정 매개변수의 스위치를 끈다.그런 다음 축소된 모델의 증거와 매개변수를 베이시안 모델 축소를 사용하여 전체 모델의 추정(후기) 매개변수로 계산할 수 있다.만약 이전 버전과 포스터가 정상적으로 배포된다면, 신속하게 계산될 수 있는 분석 솔루션이 있다.여기에는 다수의 과학 및 엔지니어링 응용 프로그램이 있다. 이러한 응용 프로그램에는 많은 수의 모델에 대한 증거를 매우 신속하게 점수화하고 계층적 모델(모수 경험적 베이즈)의 추정을 용이하게 하는 것이 포함된다.

이론

매개 변수 $\theta {\displaystyle }$ ${\displaystyle \teta}$이(가) 있는 일부 모델과 해당 매개 변수 $p{\displaystyle }$ (${\displaystyle \theta }$) ${\displaystyle p(\theta )}$에 대한 이전 확률 밀도를 고려하십시오$.$데이터 $p{\displaystyle }$ (${\displaystyle \theta }$ ${\displaystyle \mid }$ ${\displaystyle y}$) ${\displaystyle$ p(\$theta$ \$mid$ y$)}$을(를) 본 후$$ $\theta {\displaystyle }$ ${\displaystyle$ $p(\$theta $\mid$ y$)}$에 대한 사후 믿음은 Bayes 규칙에 의해 주어진다$$.

${\displaystyle {\theta \mid y)&={\frac {p(y\mid \theta )p(\theta )}{p(y)}\p(y)&=intp(y\mid \theta )p(\ta)\,d\ta \ended}}}}}}}}}}}}$

(1)

방정식 1의 두 번째 선은 주어진 모형을 관측할 확률인 모형 증거다.실제로, 후부는 매개변수에 대한 적분 계산이 어렵기 때문에 분석적으로 계산할 수 없다.따라서 포스터 차장은 MCMC 샘플링 또는 가변 베이지와 같은 접근방식을 사용해 추정한다.그러면 축소된 $모델$은${\displaystyle \stackrel{}{}}$p${\displaystyle }$~ (${\displaystyle \theta }$){\$displaystyle${\$tilde{$p}}(\$teta )}$의 대체 집합을 사용하여 정의할 수 있다$.$

${\displaystyle {\begin{aligned}{\tilde {p}}(\theta \mid y)&={\frac {p(y\mid \theta ){\tilde {p}}(\theta )}{{\tilde {p}}(y)}}\\{\tilde {p}}(y)&=\int p(y\mid \theta ){\tilde {p}}(\theta )\,d\theta \end{aligned}}}$

(2)

The objective of Bayesian model reduction is to compute the posterior ${\displaystyle {\tilde {p}}(\theta \mid y)}$ and evidence ${\displaystyle {\tilde {p}}(y)}$ of the reduced model from the posterior ${\displaystyle p(\theta \mid y)}$ and evidence ${\displaystyle p(y)$풀$$ 모델의 $}.$방정식 1과 방정식 2를 조합하여 재사례를 하면, 축소 후 $p{\displaystyle \stackrel{}{}}$~ ${\displaystyle (\theta }$ ${\displaystyle \mid }$ ${\displaystyle y}$ y${\displaystyle }$) ${\displaystyle${\$tilde{p}}(\teta \mid$ y$)}}$은 후방의 산물, 전자의 비율 및 증거의 비율로 표현할 수 있다$$.

${\displaystyle {\begin{aligned}{\frac {{\tilde {p}}(\theta \mid y){\tilde {p}}(y)}{p(\theta \mid y)p(y)}}&={\frac {p(y\mid \theta ){\tilde {p}}(\theta )}{p(y\mid \theta )p(\theta )}}\\\Rightarrow {\tilde {p}}(\theta \mid y)&=p(\theta \mid y){\frac {{\tilde {p}}(\theta )}{p(\theta )}}{\frac {p(y)}{{\tilde {p}}(y)}}\end{aligned}}}$

(3)

축소된 모형에 대한 증거는 방정식의 각 측면의 매개변수에 대해 통합함으로써 얻는다.

${\displaystyle \int{\tilde{p}}{\theta \mid y)\,d\theta =\intp(\theta \mid y){p(\theta )}{\p(y){\tilde{\p}}}},d\ta =1}$

(4)

그리고 재배치를 통해:

${\displaystyle{\begin{정렬}1&, =\int p(\theta \mid y){\frac{{\tilde{p}}(\theta)}{p(\theta)}}{\frac{p(y)}{{\tilde{p}}(y)}}\,d\theta \\&, ={\frac{p(y)}{{\tilde{p}}(y)}}\int p(\theta \mid y){\frac{{\tilde{p}}(\theta)}{p(\theta)}}\,d\theta \\\Rightarrow{\tilde{p}}(y)&, =p(y)\int p(\theta \mid y){\frac{{\tilde{p}}(\theta)}{p(\.theta)}}\,d\theta \end{aigned}}}$

(5)

가우스 프리우스 및 포스터 장식

가변 베이지의 맥락에서 사용되는 가우스 사전 밀도와 후방 밀도 아래에서 베이시안 모델 감소는 단순한 분석 솔루션을 가지고 있다.^[1]먼저 이전 및 포스터의 정상 밀도를 정의하십시오.

${\displaystyle {\begin{aligned}p(\theta )&=N(\theta ;\mu _{0},\Sigma _{0})\\{\tilde {p}}(\theta )&=N(\theta ;{\tilde {\mu }}_{0},{\tilde {\Sigma }}_{0})\\p(\theta \mid y)&=N(\theta ;\mu ,\Sigma )\\{\tilde {p}}(\theta \mid y)&=N(\theta ;{\tilde {\mu }},{\tilde {\Sigma }})\\\end{aligned}}}$

(6)

여기서 tilde 기호(~)는 감소된 모델과 관련된 수량을 나타내며 첨자 0은 ${\displaystyle {\mu \mathrm{}}_{}}$ 0 ${\$과 같이 parameter의 파라미터를 나타낸다.편의상 각 공분산 행렬의 역행렬인 정밀 행렬도 정의한다.

${\displaystyle {\begin{aligned}\Pi &=\Sigma ^{-1}\\\Pi _{0}&=\Sigma _{0}^{-1}\\{\tilde {\Pi }}&={\tilde {\Sigma }}^{-1}\\{\tilde {\Pi }}_{0}&={\tilde {\Sigma }}_{0}^{-1}\\\end{aligned}}}$

(7)

전체 모델 $F{\displaystyle }$ ${\displaystyle F}$의 자유 에너지는 로그$$ 모델 증거의 근사치(하한값)이다.${\displaystyle }$변동$$ 베이(또는 샘플링 근사치를 통해 복구할 수 있음)에서 명시적으로 최적화된 ${\displaystyle F}$≈ ${\displaystyle \ln n}$ p${\displaystyle }$(${\displaystyle y}$) ${\$ 약 $\ln$ {$p(y)}}}.$감소된 모델의 자유 에너지 $F{\displaystyle \stackrel{}{}}$~ ${\$ {$F}$ 및$$ 파라미터$({\displaystyle \mu \stackrel{}{}}$~ ,${\displaystyle \sigma \stackrel{}{\mathrm{}}}$~ )${\displaystyle({\tilde {\mu },{\tilde {\\\Sigma$}}})는 다음 식을 통해 주어진다$$.

${\displaystyle {\begin{aligned}{\tilde {F}}&={\frac {1}{2}}\ln {\tilde {\Pi }}_{0}\cdot \Pi \cdot {\tilde {\Sigma }}\cdot \Sigma _{0} \\&-{\frac {1}{2}}(\mu ^{T}\Pi \mu +{\tilde {\mu }}_{0}^{T}{\tilde {\Pi }}{0}{\tilde {\mu }}-{0}-\mu _{0}^{0}}T}\Pi _{0}\mu _{0}-{\tilde{\mu }}^{T}{\tilde{\Pi }}{\tilde{\mu }}}+F\\{\tilde {\mu }}&={\tilde {\Sigma }}(\Pi \mu +{\tilde {\Pi }}_{0}{\tilde {\mu }}_{0}-\Pi _{0}\mu _{0})\\{\tilde {\Sigma }}&=(\Pi +{\tilde {\Pi }}_{0}-\Pi _{0})^{-1}\\\end{aligned}}}$

(8)

예

평균 0과 표준 편차 0.5를 갖는 정규 분포${\displaystyle (}$그림 왼쪽에서 설명됨$)$인 매개변수$$ $\theta {\displaystyle }$ ${\$$displaystyle{\displaystyle }$$$\${\displaystyle {theta\mathrm{}}^{}}$$$${\displaystyle {}^{}}$= ${\displaystyle N}$(${\displaystyle 0,0^{}}$.5 2) {\$displaystyp p(\theta )=N (0,0.5^{2})$을 가진 모델을 고려하십시오.이 전자는 어떤 데이터도 없이 매개변수의 값이 0으로 예상되지만, 우리는 (99% 신뢰 구간 [-1.16,1.1.16]) 양의 값이나 음의 값을 기꺼이 만족시킬 수 있다고 말한다.매개변수 ${\displaystyle q}$ (${\displaystyle }q{\displaystyle }$ ) ${\displaystyle q(\theta )}$ 및$$ 모델 증거 $p{\displaystyle }$( ${\displaystyle y}$) ${\displaystyle p(y)}$의 추정치를 제공하기 위해 이 이전의 모델을 데이터에 적합시킨다$.$

매개 변수가 모델 증거에 기여했는지 여부, 즉 이 매개 변수에 대해 배운 것이 있는지 여부를 평가하기 위해, 대체 '축소' 모델을 지정하는데, 이 모형은 예를 들어 ${\displaystyle p_{\mathrm{}}}$ ~${\displaystyle {\stackrel{}{}}_{}}$0${\displaystyle {}_{}}$= ${\displaystyle N}$ (${\displaystyle 0,}$ ${\displaystyle {\mathrm{.}}^{001\mathrm{}}}$ 2${\displaystyle {}^{}}$) ${\displaystyle {\tilde{p}_{0}=N(0.001^{2$이것은 그림(오른쪽)에 설명되어 있다.이 선행은 값이 0인 것이 거의 확실하다고 말하면서 매개 변수를 효과적으로 '스위치 끄기' 한다.이 축소 모델에 대한 파라미터$$ $q{\displaystyle \stackrel{}{}}$~ ($){\displaystyle {q}}(\theta )$과 증거 $p{\displaystyle \stackrel{}{}}$~${\displaystyle }$( ${\displaystyle y}$) ${\displaystyle {\tilde{p}}}(y)$는 베이시안 모델 감소를 사용하여 전체 모델에서 빠르게 계산된다.

그런 다음 모형에 기여했다는 모수가 Bayes 인자를 통해 완전 모형과 축소 모형을 비교함으로써 모형에 기여했다는 가설을 시험하는데, 이것은 모형 증거의 비율이다.

${\displaystyle {\text{BF}}={\frac{p(y)}{{\tilde{p}}}}}}$

이 비율이 클수록 모수를 자유 모수로 포함하는 전체 모형에 대한 증거가 커진다.반대로 축소된 모형에 대한 증거가 강할수록 모수가 기여하지 않았다고 확신할 수 있다.이 방법은 'switched on' 또는 'switched off' 매개 변수를 비교하는 것으로 한정되지 않으며, 이전 버전의 중간 설정도 평가할 수 있다.

적용들

신경영상화

Bayesian 모델 축소는 처음에는 동적 인과적 모델링 프레임워크의 일부로서 뇌 연결을 모델링하는 ^[1][3]맥락에서 신경 영상화 분석에서 사용하기 위해 개발되었다(원래는 Hoc Bayesian 모델 선택 후라고 불렸다).^[1]동적 인과 모델(DCM)은 뇌 역학의 미분방정식 모델이다.^[4]실험자는 이전 모델과 다른 여러 경쟁 모델(예: 0에 대한 이전의 기대치에 고정된 매개변수 선택에서)을 지정한다.데이터에 의해 알려진 모든 관심 매개변수가 포함된 단일 '전체' 모델을 적합시킨 베이지안 모델 축소는 가설을 테스트하기 위해 경쟁 모델에 대한 근거와 매개변수를 신속하게 계산할 수 있게 한다.이러한 모델은 증거에 기여하지 않는 중복 매개변수를 '제거'하기 위해 실험자가 수동으로 지정하거나 자동으로 검색할 수 있다.

이후 베이시안 모델 축소가 일반화되었고, 그룹 효과의 파라메트릭 경험적 베이즈(PEB) 모델과 같은 다른 형태의 베이시안 모델에 적용되었다.^[2]여기서, 위 레벨에 의해 부과된 제약조건(유해적 사전)에 따라 계층적 모델의 주어진 레벨에 대한 근거와 매개변수를 계산하는 데 사용된다.

신경생물학

베이시안 모델 축소는 뇌의 기능을 설명하는데 사용되어 왔다.실험 데이터 모델에서 중복 파라미터를 제거하는 데 사용하는 것과 유사하게, 두뇌는 오프라인 상태에서(예: 수면 중) 세계의 내부 모델의 중복 파라미터를 제거할 것을 제안했다.^[5][6]

소프트웨어 구현

Bayesian 모델 축소는 Matlab 함수 spm_log_evidence_reduce.m의 Statistical Parametric Mapping 도구 상자에 구현된다.

참조