제프리스 이전

베이지안 확률에서 해롤드 제프리스 경의 이름을 딴 제프리스 이전은 매개변수 공간에 대한 비정보적(객관적) 사전 분포로, 밀도 함수는 피셔 정보 매트릭스의 결정 인자의 제곱근에 비례한다.

${\displaystyle p\ft({\vec {\theta }}\오른쪽)\propto {\sqrt {\\det {\mathcal {I}\reft({\vec {\theeta }\오른쪽)}}\,},}$

파라메터 $벡터{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{\to }}$ →$${\$displaystyle{\vec{\theta}}}$에 대한 좌표 변경 시 불변한다는 주요 특징을 가지고 있다$.$ 즉, 제프리스 이전의 파라메터화를 이용하여 확률 공간의 볼륨에 할당되는 상대 확률은 이전의 제프리스 정의에 관계없이 동일할 것이다.이것은 스케일 파라미터와 함께 사용하기 위해 특별한 관심을 갖게 한다.^[1]

재귀화

일변수 사례

If ${\displaystyle \theta }$ and ${\displaystyle \varphi }$ are two possible parametrizations of a statistical model, and ${\displaystyle \theta }$ is a continuously differentiable function of ${\displaystyle \varphi }$, we say that the prior ${\displaystyle p_{\theta }(\theta )}$ is "invariant" u에 대해 재평가하다.

${\dplaystyle p_{\varphi }(\varphi )=p_{\theta }(\theta )\왼쪽 {\frac {d\theta}}{d\varphi }}}오른쪽,}$

즉, p ${\displaystyle {\theta }_{}}$ (${\displaystyle \theta }$ ) ${\displaystyle p_{\theta }(\theta )}$ 및 $p$ ${\displaystyle {\phi }_{}}$ ${\displaystyle {}_{}\phi )}$ ${\displaystyle p_{\varphi }(\varphi )}$이(가) 일반적인 변수 정리 변경과 관련이 있는 경우$$.

Fisher 정보는 다음과 같이 재구성되어 변환되므로

${\displaystyle I_{\varphi }(\varphi )=I_{\theta }(\theta )\left({\frac {d\theta }}{d\varphi }}}}}^{2},$

defining the priors as ${\displaystyle p_{\varphi }(\varphi )\propto {\sqrt {I_{\varphi }(\varphi )}}}$ and ${\displaystyle p_{\theta }(\theta )\propto {\sqrt {I_{\theta }(\theta )}}}$ gives us the desired "invariance".^[2]

다중 매개변수 사례

Analogous to the one-parameter case, let ${\displaystyle {\vec {\theta }}}$ and ${\displaystyle {\vec {\varphi }}}$ be two possible parametrizations of a statistical model, with ${\displaystyle {\vec {\theta }}}$ a continuously differentiable function of ${\displaystyle {\vec {\varphi }$${\displaystyle {}_{}}$displaystyle p_{\theta}}({\vec{\theta }}}})을(를${\displaystyle \stackrel{}{)}}$ reparametrization 하의 $$"invariant"라고 부른다.

${\displaystyle p_{\varphi }({\vec {\varphi }}})=p_{\theta }}{\vec {\theta }}\det J,}$

여기서 $J{\displaystyle }$ ${\displaystyle J}$은(는) 항목이 있는 Jacobian 매트릭스임

${\displaystyle J_{ij}={\frac {\partial \theta _{i}{\partial \varphi _{j}}}.}$

Fisher 정보 매트릭스는 다음과 같이 재구성하여 변환하므로

${\displaystyle I_{\varphi }({\vec {\varphi }}})=J^{T}I_{\theta }({\vec {\theta }}})J,}$

우리는 그것을 가지고 있다.

${\displaystyle \det I_{\varphi }(\varphi )=\det I_{\deta }(\theta )^{2}}$

and thus defining the priors as ${\displaystyle p_{\varphi }({\vec {\varphi }})\propto {\sqrt {\det I_{\varphi }({\vec {\varphi }})}}}$ and ${\displaystyle p_{\theta }({\vec {\theta }})\propto {\sqrt {\det I_{\theta }({\vec {\theta$$}}}}}}$은(는) 우리에게 원하는 "조화"를 준다$$.

특성

실용적이고 수학적 관점에서, 결합분포 집단의 한계를 통해 얻은 것과 같이 다른 것 대신에 이 비정보적 전을 사용하는 타당한 이유는 확률 공간의 부피에 대한 상대적 확률은 파라메트를 설명하기 위해 선택된 매개변수 변수 집합에 의존하지 않기 때문이다.우주를 가로지르다

때때로 Jeffreys 선행은 정상화될 수 없으며 따라서 부적절한 선행이다.예를 들어, 분포 평균 이전의 Jeffreys는 알려진 분산의 가우스 분포의 경우 전체 실제 선에 걸쳐 균일하다.

Jeffreys의 이전 사용은 많은 사람들이 수용하지만 결코 모든 통계학자들이 수용하는 강력한 버전의 우도 원리를 위반한다.이전 Jeffreys를 사용할 때 $\theta {\displaystyle \stackrel{}{}}$→ ${\$에 대한 추론은 $\theta {\displaystyle \stackrel{}{}}$→ ${\$의 함수로서 관측된 데이터의 확률뿐만 아니라 실험 설계에 의해 결정되는 모든 가능한 실험 결과의 우주에도 의존한다$.$정보는 선택된 우주에 대한 기대에서 계산된다.따라서 두 실험의 우도 함수가 동일한 경우에도 동일한 $\theta {\displaystyle \stackrel{}{}}$→ ${\$ 매개변수를$$ 포함하는 두 실험에 대해 Jeffreys 이전과 이를 사용한 추론이 다를 수 있다. 이는 강한 우도 원리의 위반이다.

최소 설명 길이

통계에 대한 최소 설명 길이 접근방식에서 목적은 설명의 길이가 사용된 코드의 비트로 측정되는 곳에서 가능한 한 데이터를 압축적으로 설명하는 것이다.모수 분포 패밀리의 경우, 모수화된 패밀리의 분포 중 하나에 기반한 코드를 가장 좋은 코드와 비교한다.주요 결과는 큰 표본 크기에 대해 점증적으로 볼 때 지수 계열의 요소들이 이전의 Jeffreys와 혼합된 분포에 기초한 코드가 최적이라는 것이다.이 결과는 매개변수 집합이 전체 매개변수 공간의^{[citation needed]} 내부에 있는 컴팩트 서브셋으로 제한되는 경우 유지된다.전체 파라미터를 사용할 경우 수정된 결과 버전을 사용해야 한다.

예

매개변수(또는 매개변수 집합)에 대한 Jeffreys 이전은 통계적 모델에 따라 달라진다.

평균 모수가 있는 가우스 분포

실제 값 $x{\displaystyle }$ ${\displaystyle x}$의 가우스 분포의 경우

${\displaystyle f(x\mid \mu )={\frac {e^{-(x-\mu )^{2}/2\bma ^{2}}:{\sqrt{2\pi \pi \{2}}:}$

$\sigma {\displaystyle }$ ${\displaystyle \sigma }$이(가) 고정된 상태에서 평균 $\mu {\displaystyle }${\$displaystyle \mu }$ 이전의$$ Jeffreys는

${\displaystyle {\begin{aligned}p(\mu )&\propto {\sqrt {I(\mu )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\mu }}\log f(x\mid \mu )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {x-\mu }{\sigma ^{2}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infit }^{+\infit }f(x\mid\mid \mu )\frac {x-\mu{{2}}}}^{2}dx}={\sqrt{1/\propto 1}\end{정렬}}}$

즉, $\mu s{\displaystyle }$ 이전의 Jeffreys는 $\mu s{\displaystyle }$ ${\displaystyle \mu }$에 의존하지 않는다$$$;$ 실제 라인의 비정규화된 균일 분포로서 모든 포인트에 대해 1(또는 일부 고정 상수)이다.이는 부적절한 선행이며, 상수의 선택에 따라 실제에 대한 고유 번역-변환 분포(실제 추가에 관한 하르 측정)이며, 위치에 대한 정보가 없는 것에 해당하는 위치 및 번역-변환성의 평균에 해당한다.

표준 편차 모수가 있는 가우스 분포

실제 값 $x{\displaystyle }$ ${\displaystyle x}$의 가우스 분포의 경우

${\displaystyle f(x\mid \sigma )={\frac {e^{-(x-\mu )^{2}/2\bma ^{2}}:{\sqrt{2\pi \pi \{2}},},}$

$[\displaystyle \mu }$을(를) 고정하면 표준 편차 > ${\displaystyle \sigma >0}$ 이전의 Jeffreys는

${\displaystyle {\begin{aligned}p(\sigma )&\propto {\sqrt {I(\sigma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\sigma }}\log f(x\mid \sigma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}\right]}}\\&={\sqrt {\int _{-\infty }^{+\infty }f(x\mid \sigma )\left({\frac {(x-\mu )^{2}-\sigma ^{2}}{\sigma ^{3}}}\right)^{2}dx}}={\sqrt {\frac {2}{\sigma ^{2}}}}\propto {\frac {1}{\sigma }}.\end{정렬}}}$

동등하게$,$ $\mathrm{로그}$ $=$= $\sigma$ d$$/ / $\sigma${ { \$textstyle$\log \$sigma$=\$int d$\sigma $/\sigma }}$에 대한 Jeffreys는 실제 라인에서 정규화되지 않은 균일한 분포로$$, 이 분포는 로그 이전이라고도 알려져 있다.마찬가지로 ${\displaystyle \mathrm{로그}}$ log${\displaystyle {}^{}}$ =${\displaystyle {}^{}{2\mathrm{}}^{}}$ ${\displaystyle \mathrm{로그}}$ ${\displaystyle \log \sigma ^{2}=2\log \sigma }$ 이전의 Jeffreys도 균일하다$$.스케일 인바리안트(양수 리얼에 대한 최대) 이전(최대)의 스케일 인바리안트(양수 리얼의 곱셈에 관한 Har 척도)이며, 표준 편차는 스케일에 대한 정보가 없는 것에 해당하는 스케일 및 스케일 인바리언스의 척도에 해당한다.부동산의 균일한 분포와 마찬가지로, 그것은 부적절한 선행이다.

비율 모수가 있는 포아송 분포

음이 아닌 정수 $n{\displaystyle }$ ${\displaystyle n}$의 포아송 분포의 경우$,$

${\displaystyle f(n\mid \lambda )=e^{-\lambda }{\frac {\lambda ^{n}}{n!}},}$

속도 매개 변수 ${\displaystyle ▼}$ ${\displaystyle 0}$ {\$displaystyle \lambda \geq$ 0$} 이전$의 Jeffreys는

${\displaystyle {\begin{aligned}p(\lambda )&\propto {\sqrt {I(\lambda )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\lambda }}\log f(n\mid \lambda )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {n-\lambda }{\lambda }}\right)^{2}\right]}}\\&={\sum _{n=0}^{+\infit }f(n\mid \lambda )\left\frac {n-\nda }}}}{\sqrt{1}{\frqrtda }}^{{\1}{\frqrcda}}}}}}}.\end{정렬}}}$

동등하게 $\lambda \sqrt{}$ =$\int$ $d$ $\lambda$ /$\lambda \sqrt{}$ ${\${\$lambda }}}}}$ 이전의 제프리스가 비 음의 실선에 대한 비정상화된 균일분포다$$.

베르누이 재판

For a coin that is "heads" with probability ${\displaystyle \gamma \in [0,1]}$ and is "tails" with probability ${\displaystyle 1-\gamma }$, for a given ${\displaystyle (H,T)\in \{(0,1),(1,0)\}}$ the probability is ${\displaystyle \gamma ^{H}(1-\$$감마 )^{T$ 매개 변수 $\gamma {\displaystyle }$ ${\displaystyle \gamma}$ 이전의 Jeffreys는$$

${\displaystyle {\begin{aligned}p(\gamma )&\propto {\sqrt {I(\gamma )}}={\sqrt {\operatorname {E} \!\left[\left({\frac {d}{d\gamma }}\log f(x\mid \gamma )\right)^{2}\right]}}={\sqrt {\operatorname {E} \!\left[\left({\frac {H}{\gamma }}-{\frac {T}{1-\gamma }}\right)^{2}\right]}}\\&={\sqrt {\gamma \left({\frac {1}{\gamma }}-{\frac {0}{1-\gamma }}\right)^{2}+(1-\gamma )\left({\frac {0}{\gamma }}-{\frac {1}{1-\gamma }}\right)^{2}}}={\frac {1}{\sqrt {\gamma (1-\gamma )}}}\,.\end{정렬}}}$

이것은 아크사인 분포로, $\alpha {\displaystyle }$= ${\displaystyle \mathrm{\beta }}$= 1${\displaystyle }$/ ${\displaystyle 2\mathrm{}}$ $[\displaystyle \alpha =\beta$= $1/2}$을(를) 갖는 베타 분포다$.$ 더욱이 $\gamma {\displaystyle }$= ${\displaystyle {\sin }^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\displaystyle {}^{}}$ (${\displaystyle \theta }$) ${\displaystyle \gamma =\sin ^2}(\ta )$이면 그 다음이다$$.

${\displaystyle \Pr[\theta ]=\Pragma ]{\frac {d\d\gamma }}}{\frac {1}{1}\sqrt {(\sin ^{2}\ta )}~2\sin \to \tossoes \ta \cos \ta=2\ta \to.}$

즉, $\theta {\displaystyle }$ ${\displaystyle \theta }$ 이전의 Jeffreys는${\displaystyle }$[${\displaystyle 0,}$/ 2 ${\displaystyle ]}$ $[\$pi$$ /$2]$ $간격$으로 ${\displaystyle \mathrm{균일}}$하다$.$ 동등하게, , ${\$$displaystyle$ $\$$theta }$은 전체$$ 원$[{\displaystyle }$ $,$ 2$π$]에서 균일하다$.$

편향 확률을 가진 N측 다이

Similarly, for a throw of an ${\displaystyle N}$-sided die with outcome probabilities ${\displaystyle {\vec {\gamma }}=(\gamma _{1},\ldots ,\gamma _{N})}$, each non-negative and satisfying ${\displaystyle \sum _{i=1}^{N}\gamma _{i}=1}$, the Jeffreys prior for ${\displaystyle }$${\displaystyle \stackrel{}{\gamma }}$→ ${\$은(는) 모든(알파) 매개변수가 1/2로 설정된 디리클레 분포다.이것은 각각의 가능한 결과에 대해 1/2의 가산을 사용하는 것과 같다.

Equivalently, if we write ${\displaystyle \gamma _{i}=\varphi _{i}^{2}}$ for each ${\displaystyle i}$, then the Jeffreys prior for ${\displaystyle {\vec {\varphi }}}$ is uniform on the (N − 1)-dimensional unit sphere (i.e., it is uniform on the surface of an N-dimensional unit ball).

참조

추가 읽기