베이지안 추론

시리즈의 일부
베이지안 통계
이론.
허용 결정 규칙 베이지안 효율 베이지안 인식론 베이지안 확률 확률 해석 베이즈 정리 베이즈 계수 베이지안 추론 베이지안 네트워크 이전의 후부 가능성 켤레 선행 후방 예측 하이퍼파라미터 하이퍼프라이어 무관심의 원칙 최대 엔트로피의 원리 경험적 베이즈법 크롬웰의 법칙 번스타인-본 미제스 정리 슈바르츠 기준 신뢰할 수 있는 간격 최대 사후 추정치 급진 확률론
기술
베이지안 선형 회귀 베이지안 추정기 근사 베이지안 계산 마르코프 연쇄 몬테카를로 통합 중첩된 라플라스 근사치
수학 포털
v t

베이지안 추론은 베이즈의 정리가 더 많은 증거나 정보를 이용할 수 있게 되면서 가설의 확률을 갱신하기 위해 사용되는 통계적 추론의 방법이다.베이지안 추론은 통계학, 특히 수학 통계학에서 중요한 기술이다.베이지안 업데이트는 데이터 시퀀스의 동적 분석에서 특히 중요합니다.베이지안 추론은 과학, 공학, 철학, 의학, 스포츠 및 법률을 포함한 광범위한 활동에서 적용되고 있다.결정 이론 철학에서, 베이지안 추론은 종종 "베이지안 확률"이라고 불리는 주관적 확률과 밀접한 관련이 있다.

베이즈 규칙 소개

형식적인 설명

분할표

가설 증거	만족시키다 가설 H	위반. 가설 hH		총
증거가 있다 E	P(H E)·P(E) = P(E H)·P(H)	P(hH E)·P(E) = P(E µH)·P(θH)		P(E)
증거 없음 § E	P(HeE)·P(eE) = P(δE H)·P(H)	P(hHeE)·P(eE) = P(θE δH)·P(θH)		P(θE) = 1−P(E)
총	P(H)	P(θH) = 1-P(H)	1

베이지안 추론은 두 가지 선행 요소의 결과로서 사후 확률을 도출한다. 즉, 사전 확률과 관측 데이터에 대한 통계 모델에서 파생된 "우도 함수"이다.베이지안 추론은 베이즈의 정리에 따라 사후 확률을 계산한다.

어디에

• $(\textstyle$ H$)$는 데이터의 영향을 받을 가능성이 있는 가설(아래 증거라고 함)을 나타냅니다.종종 경쟁 가설이 존재하며, 이 작업은 어떤 가설이 가장 가능성이 높은지를 결정하는 것입니다.
• $$이전 확률인 P$(H)$ {$textstyle$ P$($$H)}$는 현재의 증거인 $데이터$E(\$textstyle$ E$)$가 관측되기 전의 $가설$H(\$textstyle$ H$)$의 확률 추정치이다.
• $$증거인 E$(\textstyle$ E$)$는 이전 확률을 계산하는 데 사용되지 않은 새로운 데이터에 해당합니다.
• $$P$(He$E) $(H\mid$ E$)$는 E$(\textstyle$ E$)$가 주어졌을 때$,$ 즉 E$(\textstyle$ E$)$가 관찰된 후 H(\$textstyle$ H$)$의 확률이다.이것이 우리가 알고 싶은 것이다: 관찰된 증거가 주어진 가설의 확률이다.
• $P$( $Eh$H$$) { $textstyle$P ($E$ \ $mid$ H$$) }는$$ H ${$ $textstyle$ H$$}에서 E$${ $textstyle$ E$}$를 $관찰$할 확률로, 우도라고 불립니다.E$(텍스트 스타일$ E$)$와 H$(텍스트 스타일$ H$)$의 함수로, 주어진 가설과의 증거 적합성을 나타낸다.우도 함수는 $증거$의 함수인 E$(\textstyle$ E$)$이고, 후방 확률은 $가설$의 함수인 H$(\textstyle$ H$)$이다.
• $)$ {$textstyle$ P$(E)}$는 한계우도 또는 "모델 증거"로 불리기도 한다.이 인수는 고려 중인 모든 가능한 가설에 대해 동일하므로(다른 모든 인자와 달리 H$(\textstyle$ H$)$ $가설$이 기호 어디에도 나타나지 않는다는 사실에서 명백함), 이 인수는 다른 가설의 상대적 확률을 결정하지 않는다.

H$(\$$textstyle$ H$)$의 값이 다른 경우 분자 내의$H$$)\$$textstyle$ P$(H$$)$ 및 $E)\$$mid$ H$)$ $요인$만 $후방$의 P$(H)$ $값$에 영향을 줍니다$.$d 새로 획득한 우도(새로운 관찰 증거와의 호환성).

Bayes의 규칙은 다음과 같이 작성할 수도 있습니다.

왜냐면그리고.${\displaystyle \mathrm{여기}}$서${\displaystyle \mathrm{}}$"H$\displaystyle\neg$ H$"$는$$"$\$$textstyle$ H$"$의 $논리적$ 부정입니다.

방정식을 기억하는 한 가지 빠르고 쉬운 방법은 곱셈 규칙을 사용하는 것입니다.

베이지안 업데이트 대체 방법

베이지안 업데이트는 널리 사용되고 계산적으로 편리합니다.그러나 이 규칙이 합리적인 것으로 간주될 수 있는 유일한 업데이트 규칙은 아닙니다.

Ian Hacking은 기존의 "네덜란드어 북" 주장은 베이지안 업데이트를 명시하지 않았다고 지적했습니다.베이지안 이외의 업데이트 규칙이 네덜란드어 서적을 피할 수 있는 가능성을 열어두었습니다.해킹은^[1][2] "네덜란드 책의 주장이나 확률 공리의 증거에 대한 개인주의 무기의 다른 어떤 것도 역동적인 가정을 수반하지 않는다.베이지안주의를 수반하는 것은 없다.그래서 개인주의자는 동적 가정을 베이지안이어야 합니다.일관되게 개인주의자가 경험에서 배우는 베이지안 모델을 포기할 수 있다는 것은 사실이다.소금은 풍미를 잃을 수 있다.

실제로 리처드 C의 출판 이후 네덜란드어 서적('확률 운동학'에 대한 문헌에서 논의된 바와 같이)을 피하는 비베이지어 업데이트 규칙이 있다. Jeffrey's rule, 증거 자체가 ^[3]확률로 지정된 사건에 베이즈의 규칙을 적용합니다.베이지안 업데이트를 고유하게 요구하기 위해 필요한 추가 가설은 실질적이고 복잡하며 ^[4]만족스럽지 못한 것으로 간주되어 왔다.

배타적이고 포괄적인 가능성에 대한 추론

만약 증거가 배타적이고 포괄적인 명제들에 대한 믿음을 갱신하기 위해 동시에 사용된다면, 베이지안 추론은 전체적으로 이 믿음 분포에 작용한다고 생각할 수 있다.

일반 제제

${\displaystyle 프로세스}$가 독립적이고 동일한 분산 $이벤트$를 ${\displaystyle {생성}_{}}$하고 있다고 가정합니다.${\displaystyle \mathrm{E}}$n${\displaystyle }$, n$=$ 1, ${\displaystyle 2}$,${\displaystyle 3}$,$${ $display style$ E _ { n } , , , $n = 1$, 2, 3, \ldots$$}$$。그러나 확률 분포는 알 수 없습니다.이벤트 공간$(\style$ \Omega$)$가 이 프로세스의 현재 신뢰 상태를 나타내도록 합니다.각 모델은 $이벤트{\displaystyle {}_{}}$ ${\displaystyle M_{}}$ m$(\$으로 표시됩니다.모델을 정의하기 위해 조건부 $확률{\displaystyle }$P ( ${\displaystyle E_{}}$ n ${\displaystyle {}_{}}$ ${\displaystyle {}_{}{m}_{}}$ )$${ $displaystyle$P ( $E$_ { $n$} \ $mid$ M _ { $m$} } } 를$$ 지정합니다.$)$ {$displaystyle$ P$(M_{m}}$는 $({$에 대한 믿음의 정도이며, 첫 번째 추론 단계 이전에${\displaystyle }${${\displaystyle P}$($m})}${$displaystyle \{P(M_m}\}}}$은 초기 확률 집합입니다.이것들은 1이 되어야 하지만 그 외에는 임의입니다.

프로세스가 $E$ $\mid$ { ${}_{}$ $n_{}$ $}$ { $textstyle$ E$\in$\ { $E$_ { ${\displaystyle {}_{}}$$$} \$$} ∣ ∣∣ ∣ { ${\displaystyle M_{}}$ $}$ { $displaystyle$$$M \ $in$\ { M _ m$$}$$∣ ∣ ∣ ∣${\displaystyle }$、 $P{\displaystyle }$${\displaystyle }$（ ${\displaystyle M}$$$$_$ { $m$$$} ）이전$$ P ( M$$)이 ${\displaystyle \mathrm{갱신}}$됩니다${\displaystyle .}$

추가 증거가 관찰되면 이 절차를 반복할 수 있습니다.

다중 관측치

일련의 독립적이고 동일한 분포 $관측치{\displaystyle \mathbf{}}$ E ${\displaystyle =}$ ( ${\displaystyle {e\mathrm{}}_{}}$1,${\displaystyle }$… , ${\displaystyle {}_{}{n}_{}}$ )$${$style \mathbf {E}$= ($e_{1},\display, e_{n$의 경우, 위의 반복 적용이 다음과 같다는 것을 유도로 나타낼 수 있다.

어디에

파라메트릭 공식화: 형식적인 설명의 동기 부여

모델의 공간을 매개 변수화함으로써 모든 모델에 대한 믿음을 한 번에 업데이트할 수 있습니다.모델 공간에 대한 믿음의 분포는 매개변수 공간에 대한 믿음의 분포로 생각될 수 있습니다.이 섹션의 분포는 일반적인 상황이기 때문에 확률 밀도로 표현되는 연속 분포로 표현된다.그러나 이 기법은 이산 분포에도 동일하게 적용할 수 있다.

${\(\displaystyle$ \$mathbf$ {$theta })$가 파라미터 공간에 걸쳐지도록 합니다.${\$ { $displaystyle$\ $mathbf$\ $theta$${\displaystyle \}}$$${\${\displaystyle (}$ ( ( ${\displaystyle p}$ ( \$displaystyle$ p ( \ $mathbf \theta }$ \$mid$ \ $mathbf$$\$ $alpha }$ )$$, 。$여기서$${\displaystyle \alpha }$ \ displaystyle \ $mathbf$ \ alpha$}$는 그 이전의 파라미터 또는 하이퍼 파라미터의 집합입니다.$E{\displaystyle \mathbf{}}$ ${\displaystyle =}$ ( ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle \dots ,}$ ${\displaystyle e_{}}$n$$) { $displaystyle$ $\mathbf { E$ } = ( $e$_ {1$}$ , \$display$ , $e$_ { $n$} )는$$ 독립적이고 동일한 분포의 이벤트 관측치이며, 여기서 $모든{\displaystyle {}_{}}$ ${\displaystyle e_{}}$ { $displaystyle$ $e_{i}$는 p$(e\midta$ f$)$로 분포됩니다.$Theta{\displaystyle }$ $}$$}$ . Bayes의 정리를 적용하여 ${\$ { $displaystyle \mathbf \theta$ $\}$ 위의 후방 분포를 구한다.

어디에

베이지안 추론의 공식 설명

정의들

• ${\displaystyle x}$\ $displaystyle$x \ $。$일반적인 데이터 포인트입니다.이것은 사실 가치의 벡터일 수 있습니다.
• $\displaystyle$ \$theta$}: 데이터 ${\displaystyle \mathrm{포인트}}$ 분포의 $파라미터$입니다.${\displaystyle 즉,}$ x ~ ${\displaystyle p}$ ( $x$ ){ $displaystyle x\sim p$( $x$\ $mid$ \theta$$$)$ ${\displaystyle \}}$ 。이것은 파라미터의 벡터일 수 있습니다.
• ${\displaystyle }$α$(\displaystyle \alpha$ $）$파라미터 분포의 하이퍼 파라미터입니다.${\displaystyle 즉}$,$(\displaystyle \theta \mid \alpha$$).$이것은 하이퍼 파라미터의 벡터일 수 있습니다.
• $(\$$displaystyle$\$mathbf {X})$는$n개$의 관측 데이터 포인트 $세트$입니다.$즉{\displaystyle {}_{}}$, ${\displaystyle {x1\mathrm{}}_{}}$,$(\$
• ${\displaystyle \stackrel{}{x}}$~ \ $displaystyle \ tilde$ { x$$}$$。분포를 예측하는 새로운 데이터 포인트입니다.

베이지안 추론

• 이전 분포는 데이터가 관찰되기 전의 파라미터 분포입니다.$즉{\displaystyle ,}$ p (${\displaystyle \mathrm{\theta \theta \alpha }}$)$$\ $displaystyle$ p$(\theta \mid \alpha )$ $$。이전 분포는 쉽게 결정되지 않을 수 있습니다. 이러한 경우, 새로운 관찰로 업데이트하기 전에 Jeffreys를 사용하여 이전 분포를 얻는 것이 한 가지 가능성이 있습니다.
• 샘플링 분포는 파라미터에 따라 조건부 관찰된 데이터의 분포입니다. $즉{\displaystyle }$, p${\displaystyle }$( ${\displaystyle X}$ ${\displaystyle \mid }$ )$$\ $displaystyle$ p$(\mathbf {X}$ \$mid \theta$)$$。이것은 특히 파라미터의 함수로 볼 때 가능성이라고 불리기도 한다.$L{\displaystyle \mathrm{}}$ ( ${\displaystyle \theta }$X )$$ ( ${\displaystyle X\mathbf{}}$ ${\displaystyle \mid }$ ) \ $displaystyle \operatorname {L}(\theta \mid \mathbf {X}$ ) $= p$ (\$mathbf {X}$ \$mid theta$ ) .
• 한계 우도(때로는 증거라고도 함)는 모수에서 소외된 관측 데이터의 분포이다.
  $$\displaystyle p(\mathbf {X} \mid \alpha)=\int p(\mathbf {X} \mid \theta)p(\theta \mid \alpha }d\theta }$$

  
  .
• 후방 분포는 관측된 데이터를 고려한 후의 모수 분포입니다.이는 베이지안 추론의 핵심을 이루는 베이즈의 법칙에 의해 결정된다.
  $$(\displaystyle p(\theta \mid \mathbf {X},\alpha)=p(\theta,\mathbf {X},\alpha)}}}=p(\mathbf {X},\alpha},\ta),\alpha ) p(\theta \mid \alpha ).}$$

  
  이는 "증거가 이전 우도 시간에 비례한다" 또는 "증거보다 이전 우도 시간"으로 표현된다.
• 실제로 기계 학습에 사용되는 거의 모든 복잡한 베이지안 모델에 대해 사후 $분포{\displaystyle }$ p${\displaystyle (}$θ${\displaystyle }$∣ ${\displaystyle X,\alpha }$)(\$displaystyle$ p$(\theta \mid \mathbf {X},\alpha))$는 $주로{\displaystyle }$ ${\$ \$displaystyle \theta }$에 대한 모수 공간이 매우 높을 수 있거나 베이지안 모델이 유지될 수 있기 때문에 폐쇄형 분포에서 얻을 수 없다.$관측치{\displaystyle \mathbf{}}$X(\$displaystyle \mathbf {X})$와 매개변수$${\(\$displaystyle \theta$로 구성된 특정 계층 구조. 이러한 상황에서는 근사 ^[6]기법에 의존해야 한다.

베이지안 예측

• 후방 예측 분포는 후방에서 소외된 새로운 데이터 점의 분포이다.
  $${\displaystyle p\\tilde {x},\alpha}=\int p\\tilde {x}\mid \theta}p(\theta \mid \mathbf {X},\alpha}d\theta })$$

  
• 이전 예측 분포는 새로운 데이터 점의 분포로, 이전 분포에 비해 소외됩니다.
  $${\displaystyle pblande {x}\mid \alpha}=\int pblande {x}\mid \theta}p(\theta \mid \alpha }d\theta }$$

  

베이지안 이론은 예측 추론을 수행하기 위해 후방 예측 분포를 사용할 것을 요구한다. 즉, 관측되지 않은 새로운 데이터 지점의 분포를 예측하기 위해서이다.즉, 예측으로 고정된 점 대신 가능한 점에 대한 분포가 반환됩니다.이 방법만이 사용된 모수의 전체 후방 분포입니다.이에 비해 빈도 통계의 예측은 종종 모수의 최적 점 추정치(예: 최대 우도 또는 최대 사후 추정치(MAP))를 찾아 이 추정치를 데이터 점 분포를 위한 공식에 연결하는 것을 포함한다.이것은 모수 값의 불확실성을 고려하지 않기 때문에 예측 분포의 분산을 과소평가하게 된다는 단점을 가지고 있다.

경우에 따라서는 빈도 통계 정보가 이 문제를 회피할 수 있습니다.예를 들어, 평균과 분산을 알 수 없는 정규 분포로 구성된 경우 빈도 통계량의 신뢰 구간과 예측 구간은 학생의 t-분포를 사용하여 구성됩니다.이것은 (1) 정규 분포 랜덤 변수의 평균도 정규 분포를 따르고 (2) 평균과 분산을 알 수 없는 정규 분포 데이터 점의 예측 분포에 공역 분포 또는 비정보적 우선 순위를 사용하여 학생의 t 분포를 갖는다는 사실 때문에 분산을 정확하게 추정합니다.그러나 베이지안 통계에서 후방 예측 분포는 항상 정확하게 또는 수치 방법을 사용할 때 최소한 임의의 정밀도 수준으로 결정될 수 있다.

두 가지 유형의 예측 분포는 모두 복합 확률 분포의 형태를 갖습니다(한계 우도 마찬가지).실제로 사전 분포가 공역 사전 분포이고, 따라서 사전 분포와 사후 분포가 동일한 계열에서 온다면, 사전 및 사후 예측 분포도 동일한 계열의 복합 분포에서 온다는 것을 알 수 있다.유일한 차이점은 사후 예측 분포는 하이퍼 파라미터의 업데이트된 값(이전 공역 기사에 제공된 베이지안 업데이트 규칙 적용)을 사용하는 반면, 이전 예측 분포는 이전 분포에 나타난 하이퍼 파라미터의 값을 사용한다는 것이다.

수학적 특성

이 섹션에는 일반적인 참조 목록이 포함되어 있지만 대응하는 충분한 인라인 따옴표가 없습니다. 좀 더 정확한 인용문을 도입하여 이 섹션의 개선에 협조해 주십시오. (2012년 2월) (이 템플릿메시지의 삭제 방법과 삭제 타이밍에 대해 알아보세요)

인자 해석

( M ) ( )> ( )>( E ) \$textstyle { P$ ( E \ mid M )$}$ { P ( E ) } >1 \ $Rightarrow$P ( E \ mid M $) >$ P ( $E$) 이 모델이 True인 경우,그 반대는 믿음의 감소에 적용된다.$믿음$이 변하지 않으면$\frac{}{}$P ( $\frac{E}{}$∣$\frac{M}{}$ )$\frac{}{}$ ($\frac{E}{}$ ) $=$ $1p$P ( $E$= $M$ )$=$ P ( $E$) { $textstyle$( \ $frac { P$ ($E$ \ $mid$ M ) $} = 1$\ $Rightarrow$P ($E$ ) $=$ P ($$E )만약 그 모델이 사실이라면, 증거는 현재의 믿음 상태에 의해 예측된 것과 정확히 일치할 것이다.

크롬웰의 법칙

$P{\displaystyle (M)}$ $=$ $({displaystyle P$(M)=$0}$이면 P${\displaystyle (M)}$ $=$({$displaystyle$ P$(M\mid$ E)=$0$${\displaystyle }$P(${\displaystyle M)}$ $=$ $({displaystyle$ P$(M$)=${\displaystyle 1}$)이면 P${\displaystyle (M}$)$$ 1$($$M$) = 1({$Displaystyle P(M$ ）

전자는 베이즈의 정리로부터 직접 온다.후자는 "${\displaystyle }${$displaystyle$M}"$$ 대신 "$M{\displaystyle }$ ${displaystyle$ M$\}$이 아닌 "M {displaystyle M}" 이벤트에 첫 번째 규칙을 적용하여 도출할 수 있습니다. 즉${\displaystyle ,}$ "$1{\displaystyle \mathrm{}}$${\displaystyle }$-${\displaystyle }$${\displaystyle P}$(${\displaystyle }$M ) ${\displaystyle =}$ 0 { ${\displaystyle \mathrm{displaystyle}}$ $1-P$ $($$M)$ $0$$$$=$ 0"으로$산출$됩니다.

후방의 점근 거동

신뢰 분포가 독립적이고 동일한 분포의 시험으로 여러 번 업데이트되므로 신뢰 분포의 행동을 고려하십시오.충분히 좋은 사전 확률을 위해, 번스타인-본 미제 정리는 무한 시행의 한계에서, 후부는 1948년 Joseph L. Doob에 의해 처음으로 윤곽이 드러나고 엄격하게 증명된 어떤 조건에서 초기 이전과 독립적인 가우스 분포로 수렴된다는 것을 제공한다. 즉, 고려 중인 무작위 변수가 피니트를 갖는 경우e 확률 공간.더 일반적인 결과는 나중에 통계학자 David A에 의해 얻어졌다. Freedman은 1963년과 1965년에 두 개의 주요 연구 논문에 후방의 점근적 행동이 보장되는 상황에서 발표했다.1963년 그의 논문은 두브(1949년)처럼 유한한 경우를 다루고 만족스러운 결론에 도달한다.그러나 랜덤 변수가 무한하지만 셀 수 있는 확률 공간(즉, 무한 다수의 면을 가진 다이에 해당)을 갖는다면, 1965년 논문은 이전의 조밀한 부분집합에 대해서는 번스타인-본 미제 정리가 적용되지 않는다는 것을 입증한다.이 경우 점근 수렴은 거의 없습니다.이후 1980년대와 1990년대에 프리드먼과 페르시 디아코니스는 무한 계수 가능 확률 공간의 ^[9]경우 연구를 계속했다.요약하자면, 초기 선택의 영향을 억제하기 위한 충분한 시행이 없을 수 있으며, 특히 대규모(그러나 유한한) 시스템의 경우 수렴이 매우 느릴 수 있습니다.

켤레 전위

모수화된 형식에서 이전 분포는 종종 켤레 사전 분포라고 불리는 분포 군에서 나온다고 가정합니다.사전 켤레의 유용성은 대응하는 후방 분포가 동일한 패밀리에 속하며, 계산은 닫힌 형태로 표현될 수 있다는 것이다.

모수 및 예측 추정치

종종 모수 또는 변수를 추정하기 위해 사후 분포를 사용하는 것이 좋습니다.베이지안 추정의 몇 가지 방법은 후방 분포에서 중심 경향의 측정을 선택한다.

1차원 문제의 경우, 실제 연속적인 문제에 대해 고유한 중위수가 존재합니다.후방 중위수는 강력한 ^[10]추정치로 매력적입니다.

후방 분포에 유한 평균이 존재하는 경우 후방 평균은 ^[11]추정 방법입니다.

확률이 가장 큰 값을 취하면 최대 사후 추정치(^[12]MAP)가 정의됩니다.

최대값에 도달하지 않은 예가 있습니다.이 예에서는 MAP 견적 세트가 비어 있습니다.

손실 함수와 관련하여 사후 위험(예상-후 손실)을 최소화하는 다른 추정 방법이 있으며, 이러한 방법은 표본 분포("빈도 통계")^[13]를 사용하는 통계 의사결정 이론에서 관심을 끈다.

새로운 $관측치$의 후방 예측 분포 x$$~ (이전 관측치와는 별개$)$는 다음과 같이 결정된다^[14]${\displaystyle \stackrel{}{.}}$

예

가설의 확률

분할표

그릇 쿠키	#1 H1	#2 H2		총
보통, E	30	20		50
쵸크, eE	10	20		30
총	40	40		80
P(H1 E) = 30 / 50 = 0.6

두 그릇의 쿠키가 가득하다고 가정해 보자.1번 그릇에 초콜릿 칩 10개와 플레인 쿠키 30개가 들어 있는 반면, 2번 그릇에 각각 20개가 들어 있다.우리의 친구 프레드는 그릇을 닥치는 대로 고르고 나서 쿠키를 닥치는 대로 고른다.우리는 프레드가 쿠키에 대해서도 마찬가지로 한 그릇을 다른 그릇과 다르게 대한다고 믿을 이유가 없다고 생각할지도 모릅니다.그 쿠키는 평범한 것으로 밝혀졌다.프레드가 1번 그릇에서 골랐을 가능성은 얼마나 되나요?

직감적으로, 1번 그릇에 더 많은 플레인 쿠키가 있기 때문에 답은 반 이상이 되어야 한다는 것은 분명해 보인다.정확한 답은 베이즈의 정리에 의해 제시되었다.${\displaystyle {H\mathrm{}}_{}}$ 1$({$은 1번 볼, H$$({$displaystyle H_{2})$는 2번 볼에 해당합니다$$.Fred의 관점에서 볼은 동일하기 $때문$에${\displaystyle }$P (${\displaystyle {}_{}{H\mathrm{}}_{}}$ ${\displaystyle 1}$) $=$ ${\displaystyle {}_{}}$ ( H ${\displaystyle {2\mathrm{}}_{}}$)$$\ $style$ P ( $H$_ {1} )= P ( $H$_ {2$}$ 이므로 두 볼을 합하면 1이 되므로 둘 다 0.5가 된다.$이벤트$ E$(\displaystyle$ E$)$는 플레인 쿠키의 관찰입니다.그릇의 내용물로부터 P${\displaystyle (E{}_{}}$ ${\displaystyle {H1\mathrm{}}_{}}$ ${\displaystyle =}$ ${\displaystyle 30}$/ ${\displaystyle 40}$ $=$ P$(E\mid$ H_${1$}) = $30/40 = 0.75$} 및$$ $P{\displaystyle (E{}_{}}$ ${\displaystyle {H2\mathrm{}}_{}}$ ${\displaystyle =}$ ${\displaystyle 20}$/ ${\displaystyle 40}$ ${\displaystyle =\mathrm{0.5로}}$알 수 있다.${\displaystyle }$(\$displaystyle$ P$(E\mid$ H_${2})=20/40=0.5}$ Bayes$$ 공식은 산출됩니다$.$

쿠키를 관찰하기 전에 Fred가 볼 #1을 선택했을 확률은 P${\displaystyle }$(${\displaystyle {H\mathrm{}}_{}}$1$)\displaystyle$ P$(H_{1$로 0.5였습니다.쿠키 관찰 후 확률을 P${\displaystyle }$( ${\displaystyle {H\mathrm{}}_{}}$ 1 ${\displaystyle {}_{}E}$) \ $displaystyle$P ( $H _$ {$1$ } \$$mid E $)$로 수정해야 합니다.

예측하다

한 고고학자가 중세시대, 11세기에서 16세기 사이의 것으로 추정되는 유적지에서 일하고 있다.그러나 이 시기에 정확히 언제 이 지역에 사람이 살았는지는 불확실하다.유약을 바른 토기와 장식된 토기의 파편이 발견됩니다.중세 초기에 사람이 살았다면 토기의 1%가 유약을 칠하고 면적의 50%가 장식된 반면 중세 후기에 사람이 살았다면 81%가 유약을 칠하고 면적의 5%가 장식된 것으로 추정된다.파편이 출토된 상황에서 고고학자가 서식 연대를 얼마나 확신할 수 있을까.

$연속변수{\displaystyle }$ C$($$세기$)에 대한 신뢰도는${\displaystyle }$개별 ${\displaystyle \mathrm{이벤트}}$ 세트 {${\displaystyle \mathrm{GD},}$ ${\displaystyle GD\stackrel{}{}}$}, ${\displaystyle G\stackrel{}{}\stackrel{}{}d}$ D${\displaystyle d\stackrel{}{}}$ D${\displaystyle \stackrel{}{}}$d$$} {{$displaystyle \{GD,$G {\$bar {D},$ {\$bar$ {$G}},$ {\bar {G}, {G$}},$ {G$}, {\bar$}}, {G}, {$G},$ {GAR}, {G}, {G}, {G}, {G}, {G}의 개별 이벤트 세트를 사용하여 계산됩니다.시간에 따라 유약과 장식의 선형 변동이 발생하고 이러한 변수가 독립적이라고 가정하면,

$f_{}$ C${}_{}$($c$ ) $=$)=$0.$2$)$ $이전$의 균일한 시행이 독립적이고 균등하게 분포되어 있다고 가정합니다.$e$의 새로운 fragment가 발견되면 Bayes의 정리가 적용되어 각 $\displaystyle$c의 $신뢰도$가$$갱신됩니다.

50개의 파편이 발굴됨에 따라 변화하는 믿음에 대한 컴퓨터 시뮬레이션이 그래프에 표시됩니다.시뮬레이션에서, 이 유적지는 약 1420년, 즉 ${\displaystyle \mathrm{c}}$ $= 15$$2년$ 경에 거주했다. 50차례에 걸쳐 그래프의 해당 부분 아래 면적을 계산함으로써 고고학자는 이 유적지가 11세기와 12세기에 거주했을 가능성이 거의 없다고 말할 수 있으며, 이는 13세기 동안 거주했을 확률 약 1%이다.14세기에는 63%, 15세기에는 36%의 확률로 나타났다.여기서 Bernstein-von Mises 정리는${\displaystyle }$"참" 분포에 대한 점근 수렴을 단언한다. 왜냐하면 개별 이벤트 집합 {${\displaystyle GD\stackrel{}{},}$ ${\displaystyle GD\stackrel{}{}}$,, G${\displaystyle \stackrel{}{}d\stackrel{}{}}$ D ${\displaystyle ¯}$ D ${\displaystyle d\stackrel{}{}}$ D${\displaystyle \stackrel{}{}}$d {\ {\ $}$ { $displaystyle \{GD$, G${\bar {D},$ {D}} {D}, {D$}$에 대응하는 확률공간이다.후방 거동).

빈도주의 통계 및 의사결정 이론에서

베이지안 추론의 사용에 대한 결정론적 정당성은 아브라함 월드에 의해 제공되었고, 그는 모든 독특한 베이지안 절차가 허용 가능하다는 것을 증명했다.반대로, 허용되는 모든 통계 절차는 베이지안 절차 또는 베이지안 ^[15]절차의 한계이다.

Wald는 허용 가능한 절차를 베이지안 절차(및 베이지안 절차의 한계)로 특징짓고, 베이지안 형식주의를 매개변수 추정, 가설 테스트 및 신뢰 ^[16][17][18]구간 계산과 같은 빈도주의 추론의 영역에서 중심 기법으로 만들었다.예를 들어 다음과 같습니다.

• "어떤 상황에서는 모든 허용 절차는 베이즈 절차 또는 베이즈 절차의 한계(다양한 의미)입니다.이러한 놀라운 결과는, 적어도 원래의 형태에서는, 본질적으로 Wald에 기인한다.Bayes라는 특성이 허용 ^[15]가능성보다 분석하기 쉽기 때문에 유용합니다."
• "결정 이론에서, 수용성을 증명하는 꽤 일반적인 방법은 절차를 독특한 베이즈 ^[19]해법으로 보여주는 것입니다."
• "이 연구의 첫 장에서는 유한한 지원을 가진 사전 분포와 그에 상응하는 베이즈 절차를 사용하여 실험의 비교와 관련된 주요 이론의 일부를 확립했습니다.보다 일반적인 사전 분포에 관한 베이즈 절차는 점근 이론을 포함한 통계 개발에 매우 중요한 역할을 했다." "적절한 사전 분포에 대한 사후 분포의 일별이 즉시 흥미로운 정보를 산출하는 많은 문제가 있다.또 순차 분석에서는 ^[20]이 기술을 피할 수 없다고 말했다.
• "유용한 사실은 전체 매개 변수 공간보다 적절한 우선 순위를 취함으로써 얻어진 베이즈 결정 규칙이 ^[21]허용되어야 한다는 것입니다."
• 수용가능성 아이디어 개발에서 중요한 조사 분야는 기존의 샘플링 이론 절차였으며 많은 흥미로운 결과를 얻었다.^[22]

모델 선택

베이지안 방법론은 관찰된 데이터를 생성한 기본 프로세스를 가장 가깝게 나타내는 일련의 경쟁 모델 중에서 하나의 모델을 선택하는 것을 목표로 하는 모델 선택에도 역할을 한다.베이지안 모델 비교에서는 데이터가 주어졌을 때 사후 확률이 가장 높은 모델을 선택한다.모형의 사후 확률은 모형이 데이터를 생성할 확률을 반영하는 증거 또는 한계 우도에 따라 달라집니다.경쟁하는 두 모델이 적합하다고 간주되는 선험적 모델인 경우, 후방 확률의 비율은 베이즈 인수에 해당합니다.베이지안 모델 비교는 사후 확률이 가장 높은 모델을 선택하는 것을 목표로 하기 때문에, 이 방법론을 최대 사후(MAP) 선택 규칙 또는 MAP 확률 ^[24]규칙이라고도 한다.

확률론적 프로그래밍

개념적으로는 간단하지만, 베이지안 방법은 수학적으로나 수치적으로 어려울 수 있습니다.확률론적 프로그래밍 언어(PPL)는 효율적인 자동 추론 방법과 함께 베이지안 모델을 쉽게 구축하는 기능을 구현합니다.이는 모델 구축과 추론을 분리하는 데 도움이 되며, 이를 통해 실무자는 특정 문제에 집중하고 PPL은 그에 ^[25][26][27]대한 계산 세부 사항을 처리할 수 있습니다.

적용들

통계 데이터 분석

베이지안 통계의 개별 Wikipedia 항목, 특히 해당 페이지의 통계 모델링 섹션을 참조하십시오.

컴퓨터 응용 프로그램

베이지안 추론은 인공지능과 전문가 시스템에 응용된다.베이지안 추론 기법은 1950년대 ^[28]후반부터 컴퓨터화된 패턴 인식 기법의 기초가 되어 왔다.복잡한 모델은 베이지안 분석에 의해 닫힌 형태로 처리될 수 없기 때문에 베이지안 방법과 시뮬레이션 기반 몬테 카를로 기법 간에도 지속적인 연관성이 있는 반면, 그래픽 모델 구조는 깁스 샘플링 및 다른 메트로폴리스-헤스팅 알고리즘 ^[29]체계와 같은 효율적인 시뮬레이션 알고리즘을 가능하게 할 수 있다.최근^[when?] 베이지안 추론은 이러한 이유로 계통학 커뮤니티에서 인기를 얻고 있다. 많은 애플리케이션은 많은 인구통계학적 및 진화적 매개변수를 동시에 추정할 수 있게 한다.

통계 분류에 적용되는 것처럼, 베이지안 추론은 이메일 스팸을 식별하기 위한 알고리즘을 개발하기 위해 사용되어 왔다.스팸 필터링에 베이지안 추론을 사용하는 응용 프로그램에는 CRM114, DSPAM, 보고필터, SpamAssin, SpamBayes, Mozilla, XEAMS 등이 있습니다.스팸 분류에 대해서는, 네이브 베이즈 분류자에 관한 기사에서 자세하게 설명합니다.

Solomonoff의 귀납적 추론은 관찰에 기초한 예측 이론이다. 예를 들어, 주어진 일련의 기호를 바탕으로 다음 기호를 예측하는 것이다.유일한 가정은 환경이 알 수 없지만 계산 가능한 확률 분포를 따른다는 것입니다.이것은 잘 연구된 귀납 추론의 두 가지 원칙을 결합한 형식 귀납 프레임워크이다.베이지안 통계와 Occam's ^{[30][unreliable source?]}Razor.Solomonoff의 계산 가능한 수열 x의 접두사 p에 대한 보편적 사전 확률은 p로 시작하는 무엇인가를 계산하는 모든 프로그램의 확률의 합이다. 일부 p와 x가 샘플링되는 계산 가능하지만 알려지지 않은 확률 분포가 주어진다면, 보편적 사전과 베이즈의 정리는 pr에 사용될 수 있다.x의 아직 보이지 않는 부분을 최적의 ^[31][32]방법으로 명령한다.

생체정보학 및 의료 응용 프로그램

베이지안 추론은 차이 유전자 발현 ^[33]분석을 포함한 다양한 생물 정보학 응용 분야에 적용되어 왔다.베이지안 추론은 CIRI(Continuous Individualized Risk Index)라고 불리는 일반적인 발암 위험 모델에도 사용된다. 여기서 직렬 측정은 주로 사전 ^[34][35]지식에서 구축된 베이지안 모델을 업데이트하기 위해 통합된다.

법정에서

베이지안 추론은 피고의 찬반 증거를 일관되게 축적하기 위해 배심원에 의해 사용될 수 있으며, 전체적으로는 '합리적인 ^[36][37][38]의심을 넘어'에 대한 그들의 개인적 기준을 충족하는지 확인하기 위해 사용될 수 있다.베이즈의 정리는 제시된 모든 증거에 연속적으로 적용되며, 한 단계의 후부는 다음 단계의 후부가 된다.베이지안 접근법의 장점은 배심원들에게 증거를 결합하기 위한 편견이 없고 합리적인 메커니즘을 제공한다는 것이다.베팅 확률은 확률보다 널리 이해되기 때문에 베이스의 정리를 배심원들에게 오즈 형태로 설명하는 것이 적절할 수 있다.또는 곱셈을 덧셈으로 대체하는 로그 접근법이 배심원이 더 쉽게 처리할 수 있다.

범죄의 존재 여부가 의심스럽지 않고 범인의 신원만 의심된다면, 전과자는 적격 ^[39]인구에 대해 통일되어야 한다는 의견이 제기되었다.예를 들어, 1,000명의 사람들이 범죄를 저지를 수 있었다면, 이전의 유죄 확률은 1,000분의 1이 될 것이다.

배심원들에 의한 베이즈 정리의 사용은 논란의 여지가 있다.영국에서, 변호 전문가 증인은 R 대 Adams에서 배심원들에게 베이스의 정리를 설명했다.배심원단은 유죄 판결을 내렸지만, 베이즈의 정리를 사용하지 않으려는 배심원들에게 증거를 축적할 수 있는 수단이 제공되지 않았다는 이유로 항소했다.항소법원은 유죄를 인정하면서도 "베이즈 정리나 이와 유사한 방법을 형사재판에 도입하는 것은 배심원들을 부적절하고 불필요한 이론과 복잡성의 영역으로 빠뜨려 적절한 업무에서 벗어나게 한다"는 의견도 내놨다.

가드너^[40] 메드윈은 형사재판에서 평결이 기초가 되어야 하는 기준은 유죄의 확률이 아니라 피고가 결백하다는 것을 고려하면 증거의 확률이라고 주장한다.그는 만약 유죄의 사후 확률이 베이즈의 정리에 의해 계산되려면, 유죄의 사전 확률을 알아야 한다고 주장한다.이는 범죄 발생률에 따라 달라지는데, 이는 형사 재판에서 고려할 수 있는 흔치 않은 증거이다.다음 세 가지 제안을 고려합니다.

• A 피고인이 유죄인 경우 알려진 사실과 증언이 발생할 수 있다.
• B 피고인이 무죄인 경우 알려진 사실과 증언이 발생할 수 있다.
• C 피고는 유죄입니다.

가드너 메드윈은 배심원들이 유죄를 선고하기 위해서는 A와 B를 모두 믿어야 한다고 주장한다.A와 not-B는 C의 진실을 의미하지만, 그 반대는 사실이 아니다.B와 C가 모두 사실일 수도 있지만, 그는 배심원들이 유죄인 사람들을 석방할 것이라는 것을 알면서도 무죄를 선고해야 한다고 주장한다.린들리의 패러독스도 참고하세요.

베이지안 인식론

베이지안 인식론은 귀납 논리의 규칙을 정당화하는 수단으로서 베이지안 추론을 옹호하는 운동이다.

Karl Popper와 David Miller는 베이지안 합리주의,^[41] 즉 인식론적 추론을 위해 Bayes 규칙을 사용하는 개념을 거부했습니다.그것은 정당화하려는 것을 전제로 하기 때문에 다른 정당주의 인식론과 같은 악순환을 일으키기 쉽다.이 견해에 따르면, 베이지안 추론의 합리적 해석은 베이지안 업데이트에 의해 달성된 높은 가능성이 합리적인 의심을 넘어 심지어 0보다 큰 가능성으로도 가설을 입증할 것이라는 믿음을 베이시안들에 의해 일반적으로 유지되는 확률론적 버전의 위조로 볼 것이다.

다른.

• 과학적 방법은 때때로 베이지안 추론의 적용으로 해석된다.이러한 관점에서, Bayes의 규칙은 새로운 관측치 또는 ^[42]실험에 따라 가설에 대한 확률 업데이트를 안내한다(또는 안내해야 한다).베이시안 추론은 또한 Cai 등에 의해 불완전한 정보로 확률적 스케줄링 문제를 다루기 위해 적용되었다.(2009년).^[43]
• 베이지안 탐색 이론은 잃어버린 물체를 탐색하는 데 사용됩니다.
• 계통발생학에서의 베이지안 추론
• 메틸화 분석을 위한 베이지안 도구
• 뇌 기능에 대한 베이지안 접근법은 베이지안 메커니즘으로서 뇌를 조사한다.
• 생태학^[44][45] 연구에서의 베이지안 추론
• 베이지안 추론은 확률적 화학 운동^[46] 모델에서 매개변수를 추정하기 위해 사용된다.
• 통화 또는 주식 시장 예측을^[47][48] 위한 경제 물리학에서의 베이지안 추론
• 마케팅에서의 베이지안 추론
• 운동 학습에서의 베이지안 추론
• 베이지안 추론은 숫자 문제를 해결하기 위해 확률론적 수치에 사용된다.

베이즈 및 베이지안 추론

베이즈가 그의 에세이인 "기회의 원칙에서 문제 해결을 위한 에세이"의 제안 9에서 고려한 문제는 이항 ^{[citation needed]}분포의 매개변수 a(성공률)에 대한 후방 분포이다.

역사

베이지안이라는 용어는 확률론적 ^{[citation needed]}한계가 미지의 사건에 적용될 수 있다는 것을 증명한 토마스 베이즈(1701–1761)를 가리킨다.하지만, 현재 베이즈의 정리라고 불리는 것을 (6원칙으로서) 도입하고 그것을 천체 역학, 의학 통계학, 신뢰성,^[49] 그리고 법의학 문제를 다루기 위해 사용한 사람은 피에르-시몽 라플라세였다.라플라스의 불충분한 이유 원리에 따른 균일한 전례를 사용한 초기 베이지안 추론은^[50] "역확률"이라고 불렸다.1920년대 이후, "역확률"은 빈도주의 ^[50]통계학이라고 불리는 방법들의 모음으로 대체되었다.

20세기에 라플라스 사상은 두 가지 다른 방향으로 발전하여 베이지안 실천에서 객관적이고 주관적인 흐름을 일으켰다.객관적 또는 "정보적이지 않은" 전류에서 통계 분석은 가정된 모델,^[51] 분석된 데이터 및 사전 할당 방법에만 의존하며, 이는 객관적 베이지안 실무자마다 다르다.주관적 또는 "정보적" 전류에서 앞의 명세서는 전문가, 이전 연구 등의 정보를 요약할 수 있는 신념(즉 분석이 실행될 준비가 된 명제)에 따라 달라진다.

1980년대에 베이지안 방법의 연구와 응용에 있어서 극적인 성장이 있었는데, 이는 주로 마르코프 연쇄 몬테카를로 방법의 발견에 기인하며, 이는 많은 계산 문제를 제거했고, 비표준적이고 복잡한 애플리케이션에 ^[52]대한 관심이 증가했기 때문이다.베이지안 연구의 성장에도 불구하고, 대부분의 학부 교수들은 여전히 빈도주의 ^[53]통계에 기초하고 있다.그럼에도 불구하고, 베이지안 방법은 기계 ^[54]학습 분야와 같이 널리 받아들여지고 사용된다.

「 」를 참조해 주세요.

레퍼런스

인용문

원천

추가 정보

• 베이지안 통계의 역사와 빈번한 접근법과의 토론에 대한 전체 보고서는 다음을 읽어보십시오.

초등

다음 책은 확률론적 정교함의 오름차순으로 나열되어 있다.

• Stone, JV(2013), "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis", 여기에서 첫 장을 다운로드, 영국 Sebtel Press.
• Dennis V. Lindley (2013). Understanding Uncertainty, Revised Edition (2nd ed.). John Wiley. ISBN 978-1-118-65012-7.
• Colin Howson & Peter Urbach (2005). Scientific Reasoning: The Bayesian Approach (3rd ed.). Open Court Publishing Company. ISBN 978-0-8126-9578-6.
• Berry, Donald A. (1996). Statistics: A Bayesian Perspective. Duxbury. ISBN 978-0-534-23476-8.
• Morris H. DeGroot & Mark J. Schervish (2002). Probability and Statistics (third ed.). Addison-Wesley. ISBN 978-0-201-52488-8.
• Bolstad, William M. (2007) 베이지안 통계 소개:제2판, John Wiley ISBN 0-471-27020-2
• Winkler, Robert L (2003). Introduction to Bayesian Inference and Decision (2nd ed.). Probabilistic. ISBN 978-0-9647938-4-2. 클래식 교과서 업데이트.베이지안 이론이 명확하게 제시되었다.
• 리, 피터 M.베이지안 통계: 개요제4판(2012), John Wiley ISBN 978-1183-3257-3
• Carlin, Bradley P. & Louis, Thomas A. (2008). Bayesian Methods for Data Analysis, Third Edition. Boca Raton, FL: Chapman and Hall/CRC. ISBN 978-1-58488-697-6.
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. ISBN 978-1-4398-4095-5.

중급 또는 고급

• Berger, James O (1985). Statistical Decision Theory and Bayesian Analysis. Springer Series in Statistics (Second ed.). Springer-Verlag. Bibcode:1985sdtb.book.....B. ISBN 978-0-387-96098-2.
• Bernardo, José M.; Smith, Adrian F. M. (1994). Bayesian Theory. Wiley.
• DeGroot, Morris H., Optimal Statistical Decisions.Wiley Classics 라이브러리.2004. (초판(1970년) McGrow-Hill에 의해 발행) ISBN 0-471-68029-X.
• Schervish, Mark J. (1995). Theory of statistics. Springer-Verlag. ISBN 978-0-387-94546-0.
• Jaynes, E. T. (1998) 확률론: 과학의 논리.
• O'Hagan, A. 및 Forster, J. (2003) Kendall의 고급 통계 이론, 제2B권: 베이지안 추론.아놀드, 뉴욕.ISBN 0-340-52922-9.
• Robert, Christian P (2001). The Bayesian Choice – A Decision-Theoretic Motivation (second ed.). Springer. ISBN 978-0-387-94296-4.
• Glenn Shafer와 Pearl, Judea, eds. (1988) 산마테오, 캘리포니아: Morgan Kaufmann.
• Pierre Bessiére et al. (2013), "베이지안 프로그래밍", CRC Press.ISBN 9781439880326
• Francisco J. Samaniego(2010), "추정에 대한 베이지안과 빈도론 접근법의 비교" 스프링어, 뉴욕, ISBN 978-1-4419-5940-9

외부 링크

• "Bayesian approach to statistical problems", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Scholarpedia의 베이지안 통계.
• 런던 퀸 메리 대학교 베이지안 확률 소개
• 베이지안 통계와 마르코프 연쇄 몬테카를로의 수학 노트
• 톰 그리피스가 분류하고 주석을 붙인 베이지안 독서 목록
• A. 하젝과 S.하르트만: 베이지안 인식론, "J. Dancy et al. (Ed.)", 인식론의 동반자.옥스퍼드: 블랙웰 2010, 93-106.
• S. Hartmann과 J. Sprenger:베이지안 인식론, S. Bernecker와 D.에서.Pritchard(편집), 인식론의 동반자.런던: Routledge 2010, 609-620.
• 스탠포드 철학 백과사전: "유도적 논리"
• 베이지안 확인 이론
• 베이지안 학습이란?