베이지안 정보 기준

통계학에서, 베이지안 정보 기준(BIC) 또는 슈바르츠 정보 기준(SIC, SBC, SBIC도 마찬가지)은 유한한 모델 집합 중 모델 선택을 위한 기준이다. 일반적으로 BIC가 낮은 모델이 선호된다.그것은 부분적으로 우도 함수에 기초하고 AIC(Akaike Information Criteria)와 밀접하게 관련되어 있다.

모형을 적합시킬 때 모수를 추가하여 우도를 높일 수 있지만, 그렇게 하면 과적합이 발생할 수 있습니다.BIC와 AIC 모두 모델의 파라미터 수에 대한 패널티 기간을 도입함으로써 이 문제를 해결하려고 합니다.벌칙 기간은 BIC가 ^[1]AIC보다 큽니다.

BIC는 기디언 E에 의해 개발되었습니다.슈바르츠는 1978년 ^[2]논문을 발표하여 베이지안에서의 채택에 대한 논거를 제시하였다.

정의.

BIC는 공식적으로 다음과 같이 정의됩니다^[3]^[a].

\displaystyle \mathrm {BIC} =k\ln(n)-2\lnsq\widehat {L}.\ }

어디에

$^$ { $displaystyle {$ $L }$ = ${\hat {L}}$ $M$ 의 우도 함수의 최대값( ${\hat {L}}=p(x\mid {\widehat {\theta }},M)$ $,$ L ${\hat {L}}=p(x\mid {\widehat {\theta }},M)$ ^ $M$ ${\hat {L}}=p(x\mid {\widehat {\theta }},M)$ ( ${\hat {L}}=p(x\mid {\widehat {\theta }},M)$ ${\hat {L}}=p(x\mid {\widehat {\theta }},M)$ , ${\hat {L}}=p(x\mid {\widehat {\theta }},M)$ ){ $displaystyle { L$ } $= p$ ( $x$ \ $mid \$ hat { L } )여기서 $^$ style은 {\ $ta$ $}$ 을(\ $wide$ } $)$ 를 $표시$ 합니다.아이크우프 함수
$x$ {\ $displaystyle$ x $}$ = $x$ 관측된 데이터
$n$ {\ $displaystyle$ n $}$ = $n$ x {\ $displaystyle$ x $x$ 의 데이터 포인트 수, 관측치 수 또는 이에 상당하는 표본 크기
$k$ \ $displaystyle$ k= $k$ 모델에 의해 추정된 파라미터의 수.예를 들어 다중 선형 회귀 분석의 경우 추정된 파라미터는 절편, $q$ \ $displaystyle$ q} 기울기 $q$ 파라미터 및 오류의 상수 분산입니다. 즉, $k=q+2$ $k=q+2$ + $k=q+2$ 2 \ $displaystyle$ k $=q$ 2}입니다.

Konishi와^[5]^{: 217} Kitagawa는 BIC를 도출하여 데이터의 분포를 근사하고, 다음과 같은 모델 증거에서 시작하여 Laplace의 방법을 사용하여 매개변수를 통합한다.

\displaystyle p(x\mid M)=\int p(x\mid \theta,M)\pi(\theta \mid M),d\theta }

$\pi (\theta \mid M)$ 서 $\pi (\theta \mid M)$ $m$ ( $、$ M ) { $displaystyle$ \pi ( $\$ $theta$ \ $mid$ M ) $}$ 는 $\pi (\theta \mid M)$ 모델M {\ $displaystyle$ $\theta$ M $M$ }의 $\theta$ 선두입니다.

The log-likelihood, $\ln(p(x \theta ,M))$ , is then expanded to a second order Taylor series about the MLE, ${\widehat {\theta }}$ , assuming it is twice differentiable as follows:

(\displaystyle \ln(x\mid \theta,M)=\ln({\widehat {L}})-0.5(\theta - {\widehat {theta }})n(\theta - {\theta })+R(x,\theta})

${\mathcal {I}}(\theta )$ 서 ${\mathcal {I}}(\theta )$ I ( ${\mathcal {I}}(\theta )$ ) ${\mathcal {I}}(\theta )$ { { $displaystyle { I$ } $（$ \ $displaystyle }$ ）는 ${\mathcal {I}}(\theta )$ 관측치당 평균 관측 정보이며, prime ( $^{}$ \ $displaystyle$ ')는 $(\theta -{\widehat {\theta }})$ $(\theta -{\widehat {\theta }})$ $(\theta -{\widehat {\theta }})$ - $(\theta -{\widehat {\theta }})$ $)$ 의 전치( \ $theta -$ { \ $widehat$ { \ theta $}$ } $(\theta -{\widehat {\theta }})$ )를 나타냅니다.R $R(x,\theta )$ ( $R(x,\theta )$ , $R(x,\theta )$ ) { $displaystyle$ R ( $x$ , \ $theta$ ) $R(x,\theta )$ }이 $R(x,\theta )$ 무시할 $\pi (\theta \mid M)$ 수 있고 $\pi (\theta \mid M)$ ( $\pi (\theta \mid M)$ ) { $displaystyle \pi$ ( \ $theta$ \ $mid$ M $\pi (\theta \mid M)$ ) }가 $^$ { $displaystyle$ $\theta$ \ $theta$ ${\widehat {\theta }}$ 에 $\theta$ 비교적 선형이면 $다음$ 과 같이 통합할 수 있습니다 $.$

p(x\mid M)\약 {\hat {L}(2\pi/n)^{k/2}({\widehat {I}})^{-1/2}\pi(\widehat {\theta}})}}}

n $(\displaystyle$ n $O(1)$ 이 $n$ $n$ 하면 I $|{\mathcal {I}}({\widehat {\theta }})|$ $|{\mathcal {I}}({\widehat {\theta }})|$ )(\ $displaystyle$ ${I}(\widehat {theta})$ 및 $|{\mathcal {I}}({\widehat {\theta }})|$ $\pi ({\widehat {\theta }})$ $）(\$ $displaystyle$ $\pi ({\widehat {\theta }})$ \ $(\widehat$ ${theta}))$ 는 $\pi ({\widehat {\theta }})$ $O(1)$ $|{\mathcal {I}}({\widehat {\theta }})|$ (1)이므로 $무시$ 할 수 있습니다.따라서,

p(x\mid M)=\exp\ln {L}-(k/2)\ln(n)+O(1)\}=\exp(-\mathrm {B}IC}/2+O(1),

여기서 BIC는 위와 같이 ${\widehat {L}}$ 되며 ${\widehat {L}}$ L ${\widehat {L}}$ ^ {\ $displaystyle$ {L $}}$ 은 ${\widehat {L}}$ (는) 베이지안 후방 모드이거나 (b) MLE를 사용하며, 이전 $($ 는 $\pi (\theta \mid M)$ \ $displaystyle \pi(\theta \mid$ ${\widehat {L}}$ M $)$ 는 $\pi (\theta \mid M)$ MLE에서 0이 아닙니다.그리고 후부는

\displaystyle p(M\mid x)\propto p(x\mid M)p(M)\about \exp(-\mathrm {B}IC} / 2)p(M)}

사용.

여러 모델에서 선택할 때는 일반적으로 BIC 값이 낮은 모델이 선호됩니다.BIC는 오차 분산 $\sigma _{e}^{2}$ $\sigma _{e}^{2}$ 2 $(\$ _ ${e}^{2})$ 의 $\sigma_e^2$ 증가 함수이며 k의 증가 함수입니다.즉, 종속 변수의 설명되지 않은 변동과 설명 변수의 수가 BIC 값을 증가시킵니다.그러나 BIC가 낮다고 해서 반드시 한 모델이 다른 모델보다 나은 것은 아닙니다.BIC는 근사를 수반하기 때문에 단순한 발견적 접근법일 뿐입니다.특히 BIC의 차이는 변환된 베이즈 요인처럼 취급해서는 안 된다.

BIC를 사용하여 추정된 모형을 비교할 수 있는 것은 종속 변수의^[b] 수치 값이 비교되는 모든 모형에서 동일할 때뿐이라는 점에 유의하십시오.F-검정 또는 우도비 ^{[citation needed]}검정을 사용하여 모형을 비교하는 경우와 달리 비교 중인 모형을 내포할 필요는 없습니다.

특성.

BIC는 일반적으로 자유 매개변수를 아카이케 정보 기준보다 더 강하게 처벌한다. 단, n의 크기와 n과 k의 상대적 크기에 따라 달라진다.
그것은 이전과는 무관하다.
데이터 예측 측면에서 모수화된 모형의 효율성을 측정할 수 있습니다.
복잡성이 모델의 매개 변수 수를 나타내는 모델의 복잡성에 불이익을 줍니다.
최소 설명 길이 기준과 거의 동일하지만 음수 기호가 있습니다.
특정 데이터 세트에 존재하는 고유한 복잡도에 따라 클러스터 수를 선택하는 데 사용할 수 있습니다.
이탈 정보 기준 및 아카이케 정보 기준과 같은 다른 불이익 우도 기준과 밀접하게 관련되어 있다.

제한 사항

BIC는 두 가지 주요 제한^[6] 사항을 겪고 있습니다.

위의 근사치는 모델에 포함된 파라미터의 $숫자$ k(\ $displaystyle$ k $)$ 보다 $k$ 훨씬 큰 샘플 $크기$ n(\ $displaystyle$ n $)$ 에만 $n$ 유효합니다.
BIC는 고차원에서의 ^[6]가변 선택(또는 형상 선택) 문제와 같은 복잡한 모델 컬렉션을 처리할 수 없습니다.

가우스 특수 케이스

모델 오차 또는 교란이 독립적이고 정규 분포에 따라 동등하게 분포되고 실제 분산에 대한 로그 우도의 도함수가 0이라는 경계 조건 하에서, 이는 (모델에 의존하지 않고 n에만 의존하는 가법 상수까지)^[7] 다음과 같이 된다.

\displaystyle \mathrm {BIC = n\ln\widehat {{e}^2}} + k\ln(n)\ }

$여기$ 서 § $^$ {\ $widehat$ _ ${e}^{2}}$ 는 $\widehat{\sigma_e^2}$ 오류 분산입니다.이 경우의 오차 분산은 다음과 같이 정의됩니다.

{\widehat _{e}^2}=sum _{i=1}^{n}(x_{i}-{\widehat {x_{i}})^2}

이는 실제 분산에 대한 편향된 추정치입니다.

잔존 제곱합(RSS)의 관점에서 BIC는

\displaystyle \mathrm {BIC} =n\ln(RSS/n)+k\ln(n)\}

포화 모델에 대해 여러 선형 모델을 테스트할 때 BIC는 편차 $\chi ^{2}$ 2 $(\$ ^{ $2})$ 로 $\chi ^{2}$ 다음과 같이 ^[8]다시 작성할 수 있습니다.

\displaystyle \mathrm {BIC} = \chi ^{2}+k\ln(n)}

$k$ 서 k $\displaystyle$ k는 테스트에 $k$ 사용되는 모델 파라미터의 수입니다.

「」를 참조해 주세요.

메모들

^ Claeskens와 Hjort에^[4] 의해 정의된 AIC, AICc 및 BIC는 이 문서와 대부분의 다른 표준 참고 문헌에 정의된 AIC, AICc 및 BIC의 마이너스이다.
^ 종속 변수는 반응 변수 또는 결과 변수라고도 합니다.자세한 내용은 회귀 분석을 참조하십시오.

레퍼런스

^ 리뷰 페이퍼를 참조해 주세요.를 클릭합니다Stoica, P.; Selen, Y. (2004), "Model-order selection: a review of information criterion rules", IEEE Signal Processing Magazine (July): 36–47, doi:10.1109/MSP.2004.1311138, S2CID 17338979.
^ 를 클릭합니다Schwarz, Gideon E. (1978), "Estimating the dimension of a model", Annals of Statistics, 6 (2): 461–464, doi:10.1214/aos/1176344136, MR 0468014.
^ Wit, Ernst; Edwin van den Heuvel; Jan-Willem Romeyn (2012). "'All models are wrong...': an introduction to model uncertainty" (PDF). Statistica Neerlandica. 66 (3): 217–236. doi:10.1111/j.1467-9574.2012.00530.x. S2CID 7793470.
^ Claeskens, G.; Hjort, N. L. (2008), Model Selection and Model Averaging, Cambridge University Press
^ Konishi, Sadanori; Kitagawa, Genshiro (2008). Information criteria and statistical modeling. Springer. ISBN 978-0-387-71886-6.
^ ^a ^b Giraud, C. (2015). Introduction to high-dimensional statistics. Chapman & Hall/CRC. ISBN 9781482237948.
^ Priestley, M.B. (1981). Spectral Analysis and Time Series. Academic Press. ISBN 978-0-12-564922-3. (p.375).
^ 를 클릭합니다Kass, Robert E.; Raftery, Adrian E. (1995), "Bayes Factors", Journal of the American Statistical Association, 90 (430): 773–795, doi:10.2307/2291091, ISSN 0162-1459, JSTOR 2291091.

추가 정보

Bhat, H. S.; Kumar, N (2010). "On the derivation of the Bayesian Information Criterion" (PDF). Archived from the original (PDF) on 28 March 2012. {{cite journal}}:Cite 저널 요구 사항 journal=(도움말)
Findley, D. F. (1991). "Counterexamples to parsimony and BIC". Annals of the Institute of Statistical Mathematics. 43 (3): 505–514. doi:10.1007/BF00053369. S2CID 58910242.
Kass, R. E.; Wasserman, L. (1995). "A reference Bayesian test for nested hypotheses and its relationship to the Schwarz criterion". Journal of the American Statistical Association. 90 (431): 928–934. doi:10.2307/2291327. JSTOR 2291327.
Liddle, A. R. (2007). "Information criteria for astrophysical model selection". Monthly Notices of the Royal Astronomical Society. 377 (1): L74–L78. arXiv:astro-ph/0701113. Bibcode:2007MNRAS.377L..74L. doi:10.1111/j.1745-3933.2007.00306.x. S2CID 2884450.
McQuarrie, A. D. R.; Tsai, C.-L. (1998). Regression and Time Series Model Selection. World Scientific.

외부 링크

[5] Claeskens와 Hjort에^[4] 의해 정의된 AIC, AICc 및 BIC는 이 문서와 대부분의 다른 표준 참고 문헌에 정의된 AIC, AICc 및 BIC의 마이너스이다.

[7] 종속 변수는 반응 변수 또는 결과 변수라고도 합니다.자세한 내용은 회귀 분석을 참조하십시오.

[1] 리뷰 페이퍼를 참조해 주세요.를 클릭합니다Stoica, P.; Selen, Y. (2004), "Model-order selection: a review of information criterion rules", IEEE Signal Processing Magazine (July): 36–47, doi:10.1109/MSP.2004.1311138, S2CID 17338979.

[2] 를 클릭합니다Schwarz, Gideon E. (1978), "Estimating the dimension of a model", Annals of Statistics, 6 (2): 461–464, doi:10.1214/aos/1176344136, MR 0468014.

[3] Wit, Ernst; Edwin van den Heuvel; Jan-Willem Romeyn (2012). "'All models are wrong...': an introduction to model uncertainty" (PDF). Statistica Neerlandica. 66 (3): 217–236. doi:10.1111/j.1467-9574.2012.00530.x. S2CID 7793470.

[4] Claeskens, G.; Hjort, N. L. (2008), Model Selection and Model Averaging, Cambridge University Press

[6] Konishi, Sadanori; Kitagawa, Genshiro (2008). Information criteria and statistical modeling. Springer. ISBN 978-0-387-71886-6.

[Giraud-8] Giraud, C. (2015). Introduction to high-dimensional statistics. Chapman & Hall/CRC. ISBN 9781482237948.

[Priestley-9] Priestley, M.B. (1981). Spectral Analysis and Time Series. Academic Press. ISBN 978-0-12-564922-3. (p.375).

[Raftery1995-10] 를 클릭합니다Kass, Robert E.; Raftery, Adrian E. (1995), "Bayes Factors", Journal of the American Statistical Association, 90 (430): 773–795, doi:10.2307/2291091, ISSN 0162-1459, JSTOR 2291091.

[1]

[2]

[3]

[a]

[5]

[b]

[6]

[7]

[8]

[4]

Search

베이지안 정보 기준

네임스페이스

더

목차

정의.

사용.

특성.

제한 사항

가우스 특수 케이스

「」를 참조해 주세요.

메모들

레퍼런스

추가 정보

외부 링크

Search

베이지안 정보 기준

정의.

사용.

특성.

제한 사항

가우스 특수 케이스

「 」를 참조해 주세요.

메모들

레퍼런스

추가 정보

외부 링크

「」를 참조해 주세요.