핀커의 부등식

정보이론에서 핀커의 불평등은 발명가 마크 세메모비치 핀커의 이름을 딴 것으로서, 컬백-라이블러 분기점 측면에서 총 변동 거리(또는 통계 거리)를 경계하는 불평등이다.불평등은 일정한 요인에 의해 꽉 들어차 있다.^[1]

형식명세서

핀커의 불평등은 $P{\displaystyle }$ ${\displaystyle P}$과 $Q{\displaystyle }$ ${\$$displaystyle$ $Q}$이(가) 측정 가능한 공간$($, ${\displaystyle \mathrm{\sigma })}$에 대한 두 개의 확률 분포인 경우$($$X,\Sigma )$라고 명시하고 있다.

${\displaystyle \delta (P,Q)\leq {\sqrt{1}{2}}D_{\mathrm{KL}}}}},}$

어디에

${\displaystyle \delta (P,Q)=\supple \{}P(A)-Q(A) {\bige }A\in \Sigma {\text{는 측정 가능한 이벤트임}{\bigr \}}}}$

$P{\displaystyle }$ ${\displaystyle P}$과 Q ${\displaystyle Q}$ 사이의$$ 총 변동 거리(또는 통계 거리) 및

${\displaystyle D_{\mathrm {KL} }(P\ Q)=\operatorname {E} _{P}\left(\log {\frac {\mathrm {d} P}{\mathrm {d} Q}}\right)=\int _{X}\left(\log {\frac {\mathrm {d} P}{\mathrm {d} Q}}\right)\,\mathrm {d} P}$

Nats에서 Kullback-Leibler의 차이점이다.표본 공간 $X{\displaystyle }$ ${\displaystyle X}$이(가) 유한 집합인 경우 Kullback-Leibler difference는 다음과 같이 주어진다.

${\displaystyle D_{\mathrm {KL}}}(P\Q)=\sum _{i\in X}\left(\log {\frac {P(i)}{Q(i)}\오른쪽)P(i)\!}$

서명된 측정치 $P{\displaystyle }$- ${\displaystyle Q}$ ${\$$displaystyle$\$P-Q\}$의 총 변동 규범 $\Vert {\displaystyle }$ P${\displaystyle }$- ${\displaystyle Q}$\ ${\$$displaystyle P-Q}$에 있어$$핀커의 불평등은 위에 주어진 것과 2배만큼 다르다는 점에 유의하십시오.

${\displaystyle \ P-Q\ \leq {2D_{\mathrm {KL}}(P\ Q)}}.}$

핀커의 불평등에 대한 증거는 f-디버겐에 대한 칸막이 불평등을 사용한다.

대체 버전

핀커 불평등의 표현은 KL-diversity의 정의에 어떤 로그의 기초가 사용되느냐에 따라 달라진다는 점에 유의한다.${\displaystyle D_{}}$ ${\displaystyle K_{}}$ ${\displaystyle L_{}}$ ${\$은(는)$ln$ {\displaystyle $\ln }($$기본{\displaystyle }$e {\$displaystyle$ $e$$})$을 사용하여 정의되며, D ${\$displaystyle D}은$($는) ${\displaystyle {로그\mathrm{}}_{}}$ 2 ${\$기본값 2)로 정의된다$$.그러면

${\displaystyle D(P\ Q)={\frac {D_{KL}(P\ Q)}{\ln2}.}$

위의 코멘트를 고려할 때, 정보 차이를 변동 거리에 연관시키는 일부 문헌에서 핀커의 불평등에 대한 대체 진술이 있다.

${\displaystyle D(P\ Q)={\frac {D_{KL}(P\Q)}{\ln2}}:\geq {\frac {1}{1}{2\ln {{}V^{2}(p,q),}$

즉,

${\displaystyle {\sqrt {\frac {D_{KL}(P\Q)}{2}}:\geq {\frac {V(p,q)}{2}},}$

어떤 점에서

${\displaystyle V(p,q)=\sum _{x\in {\mathcal {X}p(x)-q(x) }$

동일한 알파벳 $X{\displaystyle \mathcal{}}$ ${\$에서 두 확률밀도함수 $p{\displaystyle }$ ${\displaystyle$ p$}$과 q ${\displaystyle q}$ 사이의 (비정규화된) 변동 거리 입니다$.$^[2]

핀커의 이러한 불평등의 형태는 "분산에서의 수렴"이 "변동 거리의 수렴"보다 더 강한 개념임을 보여준다.

역사

핀커는 먼저 더 큰 상수로 불평등을 증명했다.위의 형태의 불평등은 쿨백, 치사르, 케머포머리에 의해 독자적으로 증명되었다.^[3]

역문제

것은 불평등의 명료한 역원:모든 ε>;과δ(Pε, Q)지만 DKL(Pε ‖ Q))∞{\displaystyle D_{\maε{\displaystyle \delta(P_{\varepsilon},Q)\leq \varepsilon}≤ 0{\displaystyle \varepsilon>0}, 분포 Pε, Q{\displaystyle P_{\varepsilon},Q}은 고수할 수 없습니다.thrm{$KL} }(P_{\varepsilon }\ Q)=\infty }$. An easy example is given by the two-point space ${\displaystyle \{0,1\}}$ with ${\displaystyle Q(0)=0,Q(1)=1}$ and ${\displaystyle P_{\varepsilon }(0)=\varepsilon ,P_{\varepsilon }(1)=1-\varepsilon }$. ^[4]

하지만, 역 불평등한 플레이어와 한정되어 공간에 대한 Q에 따라 상수와 X{X\displaystyle}좀 더 구체적으로 .[5]{Q\displaystyle}보유할 경우는 정의 α Q:)분)∈ X:Q())>0Q()){\displaystyle \alpha_{Q}:=\min _ᆰQ())}우리가 어떤 조치를고 있음을 보여 줄 수 있는 P. {\displa$Q$ ${\displaystyle Q}$에 절대적으로 연속되는 $ystyle P}$

${\displaystyle {\frac {1}{2}}D_{{{2}}D_{\mathrm {KL}}}}}(P\Q)\leq {1}{\fraca _{Q}\delta(P,Q)^{2}}}$

따라서 $Q{\displaystyle }$ ${\displaystyle Q}$이(가$)$ 모든 $x{\displaystyle }$for ${\displaystyle X}$ ${\displaystyle x\in$ X}에 대해 전체 지원( ( )0 {\$displaystyle$ Q$(x)>0$})$$을(를) 가진$$ 경우,

${\displaystyle \delta (P,Q)^{2}\leq {\frac {1}{2}}D(P\Q)\leq {1}{\frac {1}{\alpha _{Q}\delta (P,Q)^{2}}}$

참조

추가 읽기

• 토마스 M.커버와 조이 A.토마스:정보 이론의 요소들, 제2판, Willey-Interscience, 2006년
• 니콜로 체사비안치와 가보르 루고시: 예측, 학습 및 게임, 캠브리지 대학 출판부, 2006년