관찰된 정보

통계학에서 관측된 정보 또는 관측된 피셔 정보는 "로그-우도함수"(우도함수의 로그)의 두 번째 도함수(헤시안 행렬)의 음수이다.이것은 Fisher 정보의 샘플 기반 버전입니다.

정의.

랜덤 $변수{\displaystyle {}_{}}$ ${\displaystyle {X\mathrm{}}_{}}$1,${\displaystyle \dots ,}$ ${\displaystyle {}_{}}$(\$displaystyle X_{1},\ldots,X_{n$ 독립적이며 밀도 f(X; ),)로 균등하게 분포하는 X_{n$}$를 관찰한다고 가정합니다.여기서 "는 (아마도 알 수 없는) 벡터입니다.$다음$으로 데이터 ${\displaystyle {X1\mathrm{}}_{}\dots ,}$ $(\$의 파라미터$$$로그우도$는 다음과 같습니다.

${\displaystyle (}$ ( ${\displaystyle x{}_{}{X\mathrm{}}_{}}$ 1, ${\displaystyle ...}$ ,${\displaystyle {}_{}}$ ${\displaystyle n_{}}$ )${\displaystyle \underset{}{\overset{}{}}}$ ${\displaystyle \underset{}{\overset{}{i}}}$ i${\displaystyle \underset{}{\overset{}{}}}$= ${\displaystyle 1}$ n${\displaystyle }$log${\displaystyle {}_{}}$ f ( ${\displaystyle X_{}}$ $θ$ ){ display $style$ \$ell$( \ $theta$X _${1$} , $\ldots$, X _ { n } = \ $sum$ _ {$i }^{$ n } \$log$f ($$X _ { i$}$ \$ta$ )

관찰된 정보 매트릭스는 $(\$에서 다음과 같이 정의합니다.

${\displaystyle {\mathcal {J}}(세타 ^{*})=-\왼쪽.\sysla ^{\top }\ell (\theta )\right _{\theta =\theta ^{*}}$

$(\displaystyle =-\왼쪽).\left(}{\begin{배열}{cccc}{\tfrac{\partial ^{2}{\partial \theta_{1}^{2}}}&{\tfrac{\partial ^{2}}{\partial \theta_{1}\partial \theta _{2}}}&\cdots &,{\tfrac{\partial ^{2}}{\partial \theta_{1}\partial \theta _{p}}}\\{\tfrac{\partial ^{2}}{\partial \theta_{2}\partial \theta _{1}}}&{\tfrac{\partial ^{2}}{2{\partial \theta_{2}^.}}}&\cdots &,{\tfRac{\partial ^{2}}{\partial \theta_{2}\partial \theta _{p}}}\\\vdots, \vdots &, \ddots &, \vdots}{\partial \theta_{p}\partial \theta _{1}}}및 \\{\tfrac{\partial ^{2},{\tfrac{\partial ^{2}}{\partial \theta_{p}\partial \theta _{2}}}&\cdots &,{\tfrac{\partial ^{2}}{\partial \theta_{p}^{2}}}\\\end{배열}}\right)\ell(\theta)\r &.ight_{\theta=\theta ^{*}}}$

많은 경우 관측된 정보는 최대우도 ^[1]추정치로 평가된다.

대체 정의

Andrew Gelman, David Dunson 및 Donald Rubin은^[2] 파라미터의 사후 확률 $p{\displaystyle (}$ ${\displaystyle y}$y$)\displaystyle$ p$(\theta$ y$)\}$에 대해 관측된 정보를 대신 정의한다.

${\displaystyle I(\theta)=-{\frac {d^{2}}{d\theta ^{2}}\log p(\theta y)}$

피셔 정보

${\displaystyle \mathrm{피셔}}$ $정보{\displaystyle \mathcal{}}$ I${\displaystyle (}$ ${\displaystyle )}$ $)({displaystyle {I}}(theta))$는 파라미터가$parameter{\displaystyle }$ {\$displaystyle \theta$인 가상 모델에 따라 분포된$$ 단일 $관측치{\displaystyle }$X({$displaystyle$X})가 주어진 관측 정보의 기대치이다.

${\displaystyle I}$( ${\displaystyle )}$ ) ${\displaystyle =E\mathcal{}}$ ( ${\displaystyle J}$)$$（$displaystyle$\ $mathcal${ $I$} （ \ $theta$） = \ $mathrm${$E }$ （ \ $mathcal${$J$} ） ）$$。

적용들

주목할 만한 기사에서 브래들리 에프론과 데이비드 5세. 힝클리는^[3] 관측된 정보가 최대우도 추정치의 분포에 정규 근사를 사용할 때 예상 정보보다 우선하여 사용되어야 한다고 주장했다.

「 」를 참조해 주세요.

• 피셔 정보 매트릭스
• 피셔 정보 메트릭

레퍼런스