경험적 베이즈 방식

다음에 대한 시리즈 일부
베이지안 통계
이론
인정결정규칙 베이지안 효율 베이지안 인식론 베이지안 확률 확률해석 베이즈 정리 베이즈 인자 베이시안 추론 베이시안 네트워크 이전 후향 우도 결합전 후방예측 하이퍼 파라미터 하이퍼프리스트 무관심의 원리 최대 엔트로피의 원리 경험적 베이즈 방식 크롬웰의 법칙 번스타인-본 미세스 정리 슈바르츠 기준 신뢰할 수 있는 간격 최대 후미 추정치 급진확률주의
기술
베이지안 선형 회귀 분석 베이시안 추정기 대략적인 베이시안 연산 마르코프 체인 몬테카를로
수학포털
v t

경험적 베이즈 방법은 데이터로부터 사전 분포를 추정하는 통계적 추론을 위한 절차다.이 접근방식은 데이터가 관측되기 전에 사전 분포를 고정하는 표준 베이지안 방법과 대조를 이룬다.이러한 관점의 차이에도 불구하고, 경험적 베이지스는 계층의 가장 높은 수준의 매개변수가 통합되지 않고 가장 가능성이 높은 값으로 설정되는 계층적 모델의 완전한 베이지안 처리에 대한 근사치로 볼 수 있다.최대 한계우도라고도 알려진 경험적 베이는 하이퍼 파라미터 설정에 대한 하나의 접근방식을 나타낸다.^[1]

소개

경험적 베이지스 방법은 계층적 베이지스 모델의 완전한 베이지안 처리에 대한 근사치로 볼 수 있다.

In, for example, a two-stage hierarchical Bayes model, observed data ${\displaystyle y=\{y_{1},y_{2},\dots ,y_{n}\}}$ are assumed to be generated from an unobserved set of parameters ${\displaystyle \theta =\{\theta _{1},\theta _{2},\dots ,\theta _{n}\}}$ ac확률 분포 $p{\displaystyle }$(${\displaystyle y}$ ${\displaystyle \mid }$ ${\displaystyle \theta }$) ${\$에 코드 맞추기$.$ 다시, $\theta {\displaystyle }$ ${\$$displaystyle \$$teta \}$ 매개변수 distribution ${\displaystyle \{\backslash }$displaystyle $\$$eta$ \}, 확률 분포 $p{\displaystyle }$( according$$ $η$)에 따른 모집단으로부터 추출한 표본으로 간주할 수 있다$$$.$$헤타 \mid \eta$ $)\backslash ,\}\}$ 계층적 베이즈 모델에서 경험적 베이즈 근사치에는 없지만 $하이퍼{\displaystyle }$ 파라미터 ${\$은(는) 비모수 분포 $p{\displaystyle }$ (${\displaystyle \eta }$)$${\$displaystyle p(\eta )\,}$에서 도출된 것으로 간주된다$.$

따라서$$ 특정 양의 관심사에 대한 정보는 ${\displaystyle {\theta }_{}}$ i $displaystyle \theta _{i};}$에 직접 의존하는 데이터의 속성뿐만 아니라, $whole{\displaystyle }$ ${\$ 매개$$ 변수 모집단의 속성에서 비롯되며, 데이터 전체에서 추론되며, 요약된다.$하이퍼{\displaystyle }$ 매개 변수 ${\$ $\backslash ;\}.$

베이즈의 정리를 이용해서

${\displaystyle p(\theta \mid y)={\frac {p(y\mid \theta )p(\theta )}{p(y\mid \theta )}{p(y)}}}\theta \mid \eta )p(\eta )={p(.}$

일반적으로 이 적분은 분석적 또는 상징적으로 추적가능하지 않으며 숫자적 방법으로 평가되어야 한다.확률적(랜덤) 또는 결정론적 근사치를 사용할 수 있다.확률적 방법으로는 마르코프 체인 몬테 카를로와 몬테 카를로 샘플링이 있다.결정론적 근사치는 사분법으로 논한다.

또는 표현은 다음과 같이 쓸 수 있다.

${\displaystyle p(\theta \mid y)=\int p(\theta \mid \eta ,y)p(\eta \mid y)\;d\eta =\int {\frac {p(y\mid \theta )p(\theta \mid \eta )}{p(y\mid \eta )}}p(\eta \mid y)\;d\eta \,,}$

그리고 적분 속의 용어는 차례로 다음과 같이 표현될 수 있다.

$[\displaystyle p(\eta \mid y)=\intp(\eta \mid \theta )p(\theta \mid y)\;d\theta .}$

These suggest an iterative scheme, qualitatively similar in structure to a Gibbs sampler, to evolve successively improved approximations to ${\displaystyle p(\theta \mid y)\;}$ and ${\displaystyle p(\eta \mid y)\;}$. First, calculate an initial approximation to ${\displaystyle p(\theta \mid y$$)\;}$ ignoring the ${\displaystyle \eta }$ dependence completely; then calculate an approximation to ${\displaystyle p(\eta \mid y)\;}$ based upon the initial approximate distribution of ${\displaystyle p(\theta \mid y)\;}$; then use this ${\displaystyle p(\eta \mid y)\;}$ to update$p{\displaystyle }$ (${\displaystyle \theta }$ ${\displaystyle \mid }$ ${\displaystyle y}$) ${\$ p$(\theta \mid y$ 다음에 업데이트 $p{\displaystyle }$($$η ${\displaystyle y}$ ) $displaystyle p(\eta \mid$ y$)\backslash ;\};$ 등의 근사치.

When the true distribution ${\displaystyle p(\eta \mid y)\;}$ is sharply peaked, the integral determining ${\displaystyle p(\theta \mid y)\;}$ may be not much changed by replacing the probability distribution over ${\displaystyle \eta \;}$ with a point estimate ${\displaystyle \eta ^{*}\;$분포의 피크(또는 평균)를 나타내는$$ $}$

${\displaystyle p(\theta \mid y)\simeq {p(y\mid \theta )\\;p(\theta \mid \eta ^{*})}{p(y\mid \mid \eta ^{*}}}}}},.}$

이 근사치로 위의 반복 체계는 전자파 알고리즘이 된다.

"Empiratic Bayes"라는 용어는 매우 다양한 방법을 다룰 수 있지만, 대부분은 위의 계획이나 이와 비슷한 것을 초기에 잘라낸 것으로 간주할 수 있다.전체 분포가 아닌 점 추정치는 일반적으로 매개 변수 $\eta {\displaystyle }$ ${\$에 사용된다$.$$\eta {\displaystyle {}^{\ast }}$ $displaystyle \eta ^{*}\;}$에 대한 추정치는 일반적으로 첫 번째 근사치에서 후속 미세화 $없이$ p (${\displaystyle \theta }$ ${\displaystyle \mid }$ ${\displaystyle y}$) ${\$ p$(\theta \mid$ y$)\;}$에 대해 이루어진다$$.$\eta {\displaystyle {}^{\ast }}$ $displaystyle \eta ^{*}\;}$에 대한 이러한 추정치는 일반적으로 $\eta {\displaystyle }$ ${\displaystyle \eta }$에 대한 적절한 사전 분포를 고려하지 않고 이루어진다$$$.$

점 추정

로빈스 방법 : 비모수 경험적 베이지(NPEB)

로빈스는^[2] ${\displaystyle {혼합}_{}}$된 분포에서 표본 추출의 경우를 고려했다. 여기서 각 y $i{\displaystyle {}_{}}$ ${\$$\theta {\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$에 대한 확률은 포아송 분포로 지정된다.

${\displaystyle p(y_{i}\mid \theta _{i}={\theta_{i}^{i}}e^{-\theta_{i}}}}{i}}}}이상 \i_{i}!}}$

이전의 on은 또한 알려지지 않은 분포로부터 나온 i.i.d라는 것을 제외하고 불특정하지만, 누적 분포 함수 $G{\displaystyle }$ (${\displaystyle \theta }$ $){\displaystyle$G$(\theta )}.$ 복합 샘플링은 사고율과 임상시험과 같은 다양한 통계적 추정 문제에서 발생한다$.$^{[citation needed]}관측된 모든 데이터를 감안할$$ 때 $\theta {\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$의 포인트 예측을 원할 뿐이다.전자가 불특정하기 때문에 우리는 G를 모르고 이것을 하려고 한다.^[3]

SEL 제곱 오차 손실(Squareed Error Loss, SEL)에서는 조건부 기대 E(θ_ii Y = y_i)를 예측에 사용할 수 있는 합리적인 수량이다.포아송 화합물 샘플링 모델의 경우 이 수량은

${\displaystyle \operatorname {E} (\theta _{i}\mid y_{i})={\int (\theta ^{y_{i}+1}e^{-\theta }/{y_{i}}!)\,dG(\theta ) \over {\int (\theta ^{y_{i}}e^{-\theta }/{y_{i}}!)\,dG(\theta })}.}$

이는 ${\displaystyle 표현}$에${\displaystyle }$(${\displaystyle \mathrm{yi}}$+${\displaystyle }$1 ) /${\displaystyle }$(${\displaystyle \mathrm{yi}}$ +${\displaystyle {}_{}}$1$){\displaystyle ({y_{$i}+$1)/({y_{i}+1$)을 곱하여 단순화할 수 있다$.$

${\displaystyle \operatorname {E}(\theta _{i}\mid y_{i}={{{(y_{i}+1)p_{{{}G}(y_{i}+1)} \over {p_{G}(y_{i}),},}$

여기서 p는_G G에 대한 θ을 통합하여 얻은 한계 분포다.

이를 활용하기 위해 로빈스는^[2] 경험적 빈도로 여백을 추정할 것을 제안하고 완전히 비모수적 추정치를 다음과 같이 산출했다.

${\displaystyle \operatorname {E}(\theta _{i}\mid y_{i})\대략(y_{i}+1){\#\{Y_{j}=y_{i}+1\}}}}\{\#\}}}}}\cHBFFF{{\}}}}\}}}Y_{j}=y_{i}\}}}$

여기서${\displaystyle \mathrm{}}$# ${\displaystyle \#}$은(는) "숫자"를 의미한다$$(참조 항목: Good--).튜링 빈도 추정)

예 – 사고율

보험회사의 각 고객이 "사고율" Ⅱ를 가지고 있고 사고에 대비한 보험에 가입되어 있다고 가정해 보자. Ⅱ의 확률 분포는 기초적인 분포로서 알 수 없다.특정 기간 동안 각 고객이 겪은 사고 수는 특정 고객의 사고율과 동일한 기대값을 갖는 포아송 분포를 가진다.고객이 경험한 실제 사고 건수는 관측 가능한 수량이다.사고율 Ⅱ의 기초적인 확률분포를 추정하는 조잡한 방법은 특정 기간 동안 0, 1, 2, 3, ... 사고를 겪는 전체 인구의 구성원의 비율을 관측된 무작위 표본의 해당 비율로 추정하는 것이다.그렇게 한 후, 표본에 있는 각 고객의 사고율을 예측하는 것이 바람직하다.위와 같이 기준기간 중 관측된 사고건수를 감안하여 사고율 Ⅱ의 조건부 기대치를 사용할 수 있다.따라서 고객이 기준 기간 동안 6건의 사고를 당했을 경우, 그 고객의 추정 사고율은 7 ×[7건의 사고를 당한 표본의 비율] /[6건의 사고를 당한 표본의 비율]이다.k 사고를 당하는 사람의 비율이 k의 기능 감소인 경우 고객의 예측 사고율은 관측된 사고 횟수보다 낮은 경우가 많다.

이러한 축소 효과는 경험적 베이지스 분석의 전형이다.

파라메트릭 경험적 베이지

만약 우도와 그 이전이 단순한 파라메트릭 형태(예: 단순한 결합 전위를 가진 1차원 또는 2차원 우도함수)에 대한 것이라면, 경험적 베이즈 문제는 완전한 경험 집합을 사용하여$$ 한계 m$($ ${\displaystyle y\eta }$ $displaystyle m(y\mid \eta )$과 하이퍼 파라미터 ${\displaysty$ \eta $}$을 추정하기만 $하면$ 된다.ical 측정예를 들어, 모수 경험적 베이지스 점 추정이라고 하는 하나의 일반적인 접근법은 최대우도 추정치(MLE) 또는 모멘트 확장을 사용하여 한계점을 근사하게 하는 것이다. 이 접근법은 하이퍼 파라미터 eters$[\displaystyle \eta }$을 경험적 평균과 분산 측면에서 표현할 수 있다.이 단순화된 한계점에서는 경험적 평균을 이전 $\theta {\displaystyle }$ ${\displaystyle \theta}$의 점 추정치에 연결할 수 있다$.$ 이전 $\theta {\displaystyle }$ ${\displaystyle \theta}$에 대한 결과 방정식은 아래와 같이 크게 단순화된다$$.

포아송-감마 모델(아래 참조), 베타-이항 모델, 가우스-가우스 모델, 디리클레-다항원 모델 등 몇 가지 공통 파라메트릭 경험적 베이즈 모델과 베이지안 선형 회귀(아래 참조) 및 베이지안 다변량 선형 회귀에 대한 특정 모델이 있다.보다 진보된 접근법에는 계층적 베이즈 모델과 베이지안 혼합물 모델이 포함된다.

가우스-가우스 모델

가우스-가우스 모델을 사용한 경험적 베이즈 추정기의 예는 경험적 베이즈 추정기를 참조하십시오.

푸아송-감마 모형

예를 들어, 위의 예에서 가능성을 포아송 분포로 하고, 이전의 경우를 감마 분포(${\displaystyle }$(${\displaystyle \alpha }$ ,$){\displaystyle$ G$(\alpha ,\beta$ $)\})$ (여기서 $\eta {\displaystyle }$=${\displaystyle }$(${\displaystyle \alpha }$, $){\displaystyle \eta$ = $(\alpha ,\beta )})})})$ 이전 결합 분포로 지정하도록 한다.$$

${\displaystyle \rho (\theta \mid \alpha ,\beta )={\frac {\theta ^{\alpha -1}\,e^{-\theta /\beta }}{\beta ^{\alpha }\Gamma (\alpha )}}\ \mathrm {for} \ \theta >0,\alpha >0,\beta >0\,\!.}$

후방이 역시 감마분포라는 것을 보여주는 것은 간단하다.쓰다

$\displaystyle \rho (\theta \mid y)\propto \rho (y\mid \theta )\rho (\theta \mid \mid \reason,\theta \rho)}$

$\theta {\displaystyle }$ ${\displaystyle \theta}$에 명시적으로 의존하지 않기 때문에 한계 분포가 생략된 경우. $.$ ${\displaystyle \theta}$에 의존하는 확장 항은 다음과 같이 후방을 나타낸다$$.

${\displaystyle \rho(\theta \mid y)\propto(\theta ^{y}\,e^{-\no -1}\theta ^{\no -1}\theta }=\theta ^{y+\noes -1},e^{-\theta (1/no.}$

So the posterior density is also a gamma distribution ${\displaystyle G(\alpha ',\beta ')}$, where ${\displaystyle \alpha '=y+\alpha }$, and ${\displaystyle \beta '=(1+1/\beta )^{-1}}$. Also notice that the marginal is simply the integral of the posterior over all${\displaystyle \mathrm{\theta }}$ ${\displaystyle \Theta },$음의 이항 분포로 확인됨.

경험적 베이지스를 적용하기 위해 최대우도 추정치(MLE)를 사용하여 한계값을 근사하게 된다.그러나 후방이 감마분포이므로 변방의 MLE는 후방의 평균에 불과한 것으로 판명되는데, 이것은 우리가 필요한$$ 점 추정치 $E{\displaystyle \mathrm{}}$ ${\displaystyle }$ ${\displaystyle (\theta }$y ${\displaystyle y}$ y$){\displaystyle \operatorname {E} (\theta \mid$ y$)}$이다.감마 분포 $($ α ${\displaystyle {\prime }^{}}$ ,${\displaystyle {}^{}}$ ${\displaystyle {\prime }^{}}$ ${\displaystyle )}$의 평균 $\mu {\displaystyle }$ ${\$$displaystyle$$$\mu } {\displaystyle $G(\alpha ',\beta '}})$가 $단순히{\displaystyle {}^{}}$ α${\displaystyle {}^{}}$β β${\displaystyle {}^{}\beta {}^{}}$ ${$ {\$displaystystyle \alpha$'\$beta '}$인 것을 상기하면 된다$.$

${\displaystyle \operatorname {E} (\theta \mid y)=\alpha '\beta '={\frac {{\bar {y}}+\alpha }{1+1/\beta }}={\frac {\beta }{1+\beta }}{\bar {y}}+{\frac {1}{1+\beta }}(\alpha \beta ).}$

$\alpha {\displaystyle }$ ${\displaystyle \alpha }$ 및$$ $\beta {\displaystyle }$ ${\displaystyle \beta }$의 값을 얻기 위해$,$ 경험적 베이지스는 전체 경험적 데이터 집합을 ${\displaystyle {사용}^{}}$하여 평균 $\alpha {\displaystyle }$ ${\displaystyle {}^{}}$$$${\$$^{$$2}}$의 추정치를 규정한다.

The resulting point estimate ${\displaystyle \operatorname {E} (\theta \mid y)}$ is therefore like a weighted average of the sample mean ${\displaystyle {\bar {y}}}$ and the prior mean ${\displaystyle \mu =\alpha \beta }$. This turns out to be a general feature of empirical Bayes; the point estimates 이전 추정치(즉, 평균)는 표본 추정치와 이전 추정치(분산 추정치에 대한 추정치)의 가중 평균처럼 보일 것이다.

참고 항목

• 베이즈 추정기
• 베이시안 네트워크
• 하이퍼 파라미터
• 하이퍼프리스트
• 최적 선형 불편 예측
• 로빈스 보조정리
• 스파이크 및 슬래브 변수 선택

참조

이 글은 일반적인 참고문헌 목록을 포함하고 있지만, 그에 상응하는 인라인 인용구가 충분하지 않다. 보다 정확한 인용구를 도입하여 이 기사를 개선할 수 있도록 도와주십시오. (2012년 2월) (이 템플릿 메시지를 제거하는 방법과 시기 알아보기)

추가 읽기

• Peter E. Rossi; Greg M. Allenby; Rob McCulloch (14 May 2012). Bayesian Statistics and Marketing. John Wiley & Sons. ISBN 978-0-470-86368-8.
• Casella, George (May 1985). "An Introduction to Empirical Bayes Data Analysis" (PDF). American Statistician. 39 (2): 83–87. doi:10.2307/2682801. hdl:1813/32886. JSTOR 2682801. MR 0789118.
• Nikulin, Mikhail (1987). "Bernstein's regularity conditions in a problem of empirical Bayesian approach". Journal of Soviet Mathematics. 36 (5): 596–600. doi:10.1007/BF01093293. S2CID 122405908.

외부 링크

• 도로안전성 평가시 경험적 베이지법의 활용
• 결측 데이터 분석을 위한 경험적 베이지 방법
• 베타 이항 분포를 사용하여 생체 인식 식별 장치의 성능 평가
• 계층적 순진 베이즈 분류자(연속 및 이산형 변수의 경우)