컬백의 부등식

정보 이론과 통계에서, 컬백의 불평등은 큰 편차율 함수의 관점에서 표현된 컬백-라이블러 분차에 대한 하한이다.^[1]P와 Q가 실제 라인의 확률 분포인 경우 P가 Q, 즉 P << Q와 관련하여 절대적으로 연속적이고 첫 순간이 존재하는 경우,

${\displaystyle D_{KL}(P\parallel Q)\geq \Psi _{Q}^{*}(\mu '_{1}(P),}),}$

where ${\displaystyle \Psi _{Q}^{*}}$ is the rate function, i.e. the convex conjugate of the cumulant-generating function, of ${\displaystyle Q}$, and ${\displaystyle \mu '_{1}(P)}$ is the first moment of ${\displaystyle P.}$

Cramér-Rao 바운드는 이 결과의 귀결점이다.

증명

P와 Q는 첫 순간이 존재하는 실제 라인에 확률분포(측정)가 되도록 하며, P << Q. 다음이 주는 자연 지수 계열 Q를 고려한다.

${\displaystyle Q_{\theta }(A)={\frac {\int _{A}e^{\theta x}Q(dx)}{\int _{-\infty }^{\infty }e^{\theta x}Q(dx)}}={\frac {1}{M_{Q}(\theta )}}\int _{A}e^{\theta x}Q(dx)}$

${\displaystyle {모든}_{}}$ 측정 가능한 집합 A에 대해, $여기$서 M Q ${\$는 Q의 모멘트 생성 기능이다(Q₀ = Q).그러면

${\displaystyle D_{KL}(P\parallel Q)=D_{KL}(P\parallel Q_{\theta })+\int _{\operatorname {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P.}$

깁스의 불평등에 의해 우리는 ${\displaystyle \mathrm{D}}$ ${\displaystyle K_{}}$ ${\displaystyle L_{}}$ ${\displaystyle {}_{}P}$ ${\displaystyle \parallel }$ ${\displaystyle {}_{}}$ ${\displaystyle {\theta }_{}}$) ${\displaystyle \ge }$ 0 ${\displaystyle D_{KL}(P\parallel Q_{\theta }}}\geq$ 0$}$을 가지게 된다.

${\displaystyle D_{KL}(P\parallel Q)\geq \int _{\operatorname {supp} P}\left(\log {\frac {\mathrm {d} Q_{\theta }}{\mathrm {d} Q}}\right)\mathrm {d} P=\int _{\operatorname {supp} P}\left(\log {\frac {e^{\theta x}}{M_{Q}(\theta )}}\right)P(dx)}$

오른쪽을 단순화하면, ( )< : ${\displaystyle M_{Q}(\theta )<\inflt :}}$이(가) 있는 모든 실제 θ에 대해 우리는 가지고 있다.

${\displaystyle D_{KL}(P\parallel Q)\geq \mu '_{1}(P)\theta -\psi _{Q}(\theta ),}$

여기서 $\mu {\displaystyle {}_{}^{}}$ $){\displaystyle \mu '_{1}(P)}$는 P의 첫 번째 모멘트, 즉 평균이며, ${\displaystyle q_{}}$Q = ${\displaystyle \mathrm{로그}{q}_{}}$ M Q$${\$displaystyle \Psi _{Q}=\log M_{Q}}}}}}}$은 누적 생성 함수라고 한다.우월성을 취하면 볼록 결합 과정이 완료되고 속도 함수가 발생한다.

${\displaystyle D_{KL}(P\parallel Q)\geq \sup _{\theta }\{1}(P)\\\mu '_{1}\psi_{Q}(\theta )\right\}={Q}^}}\mu '_{1}(P)}).}$

코롤라리: 크라메르-라오행

Kullback의 불평등부터

X는_θ 실제 매개변수 θ에 의해 지수화된 실제 라인에 대한 확률 분포의 집합으로, 특정 정규성 조건을 만족하도록 한다.그러면

${\displaystyle \lim _{h\rightarrow 0}{\frac {D_{KL}(X_{\theta +h}\parallel X_{\theta })}{h^{2}}}\geq \lim _{h\rightarrow 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}},}$

where ${\displaystyle \Psi _{\theta }^{*}}$ is the convex conjugate of the cumulant-generating function of ${\displaystyle X_{\theta }}$ and ${\displaystyle \mu _{\theta +h}}$ is the first moment of ${\displaystyle X_{\theta +h}.$$}$

왼쪽

이 불평등의 좌뇌는 다음과 같이 단순화할 수 있다.

${\displaystyle{\begin{정렬}\lim _ᆫᆬ(X_{\theta +h}\parallel X_{\theta})}{h^{2}}}&=\lim _{h\to 0}{\frac{1}{h^{2}}}\int _{-\infty}^{\infty}\log \left({\frac{\mathrm{d}X_{\theta +h}}{\mathrm{d}X_{\theta}}}\right)\mathrm{d}X_{\theta +h}\\&.(_{h\to 0}{\frac{1}{h^{2}}}\int _{-\infty}^{\infty}\log \left({.\frac{)Mathrm{d}X_{\theta}}{\mathrm{d}X_{\theta +h}}}\right)\mathrm{d}X_{\theta +h}\\&.(_{h\to 0}{\frac{1}{h^{2}}}\int _{-\infty}^{\infty}\log \left(1-\left(1-{\frac{\mathrm{d}X_{\theta}}{\mathrm{d}X_{\theta +h}}}\right)\right)\mathrm{d}X_{\theta +h}\\&.(_{h\to 0}{\frac{1}{h^{2}}}\int _{-\infty}^{\infty}\left[\left(1-.{\frac{X_{\theta +h}&{d}\mathrm{d}X_{\theta}}{\mathrm{d}X_{\theta +h}}}\right)+{\frac{1}{2}}\left(1-{\frac{\mathrm{d}X_{\theta}}{\mathrm{d}X_{\theta +h}}}\right)^ᆱ+o\left(\left(1-{\frac{\mathrm{d}X_{\theta}}{\mathrm{d}X_{\theta +h}}}\right)^{2}\right)\right]\mathrm,&{를 \text{테일러 수열}}\log(1-t)\\&,=\lim _{h\to 0}{\f.rac{1}{h^{2}}}\int _ᆪ^ᆫ\left[{\frac{1}{2}}\left(1-{\frac{\mathrm{d}X_{\theta}}{\mathrm{d}X_{\theta +h}}}\right)^{2}\right]\mathrm{d}X_{\theta +h}\\&.(_{h\to 0}{\frac{1}{h^{2}}}\int _{-\infty}^{\infty}\left[{\frac{1}{2}}\left({\frac{\mathrm{d}X_{\theta +h}-\mathrm{d}X_{\theta}}{\mathrm{d}X_{\theta +h}}}\right)^{2}\.right]\mathrm {d}X_{\theta +h}\\&={\frac {1}{1}:{2}}:{\mathcal{I}_{X}(\theta )\end{aigned}}}}}}}}}$

그것은 매개변수 of의 피셔 정보의 절반이다.

오른쪽

불평등의 우측은 다음과 같이 전개할 수 있다.

${\displaystyle \lim _{h\rightarrow 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}=\lim _{h\rightarrow 0}{\frac {1}{h^{2}}}{\sup _{t}\{\mu _{\theta +h}t-\Psi _{\theta }(t)\}}.}$

This supremum is attained at a value of t=τ where the first derivative of the cumulant-generating function is ${\displaystyle \Psi '_{\theta }(\tau )=\mu _{\theta +h},}$ but we have ${\displaystyle \Psi '_{\theta }(0)=\mu _{\theta },}$ so that

${\displaystyle \psi'_{\theta }(0)={\frac {d\mu_{\d\ta }}{\d\ta }}}}{h\오른쪽 화살표 0}{{\frac {h}{\tau}}}}.}$

게다가

${\displaystyle \lim _{h\rightarrow 0}{\frac {\Psi _{\theta }^{*}(\mu _{\theta +h})}{h^{2}}}={\frac {1}{2\Psi ''_{\theta }(0)}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}={\frac {1}{2\operatorname {Var} (X_{\theta })}}\left({\frac {d\mu _{\theta }}{d\theta }}\right)^{2}.}$

양쪽을 다시 합치는 것

다음이 있음:

${\dapplaystyle {\frac{1}:{2}}: {\mathcal {I}_{X}(\theta )\geq {1}{2\operatorname {Var}(X_{\theta }}})}}\왼쪽({\frac {d\mu_}}}}}{d\ta }}}}}}}}}}\ta }}}}}{d\ta }}}}\ta }}}}}}}}}}}}}}}}}}}}}}$

다음과 같이 재배열할 수 있다.

${\displaystyle \operatorname {Var}(X_{\theta })\geq {\frac {(d\mu _{\theta }/d\theta )^{2}}{{\\mathcal {I}_{X}(\ta )}}}}}.}$

참고 항목

• 쿨백-라이블러 발산
• 크라메르-라오 바운드
• 피셔 정보
• 큰편차이론
• 볼록 결합
• 요율함수
• 모멘트생성함수

참고 및 참조