조건상호정보

정보이론
엔트로피 미분 엔트로피 조건부 엔트로피 관절 엔트로피 상호정보 조건상호정보 상대 엔트로피 엔트로피 레이트 이산형 점의 밀도 제한
점증적 설비 특성 비율-분산 이론
섀넌의 소스 코딩 정리 채널 용량 노이즈 채널 코딩 정리 섀넌-하틀리 정리
v t

확률론, 특히 정보이론에서 조건부 상호정보는^[1][2] 가장 기본적인 형태에서 3분의 1의 값이 주어진 두 랜덤 변수의 상호정보는 기대값이다.null

정의

지원 집합 $X{\displaystyle \mathcal{}}$ ${\$ X$\},$ $Y{\displaystyle }$ ${\$$displaystyle$ $Y$$}$및 Z ${\$$displaystyle {X$ Y ${\displaystyle {Y}$ 및 $Z$ ${\$이$($가) $있는{\displaystyle }$ 임의 변수 X {\displaystysty}, Y} 및 $Z{\displaystyle }$ {\displaystystysty}에 대해 조건부 상호 정보를 정의함

이는 예상 연산자 $I{\displaystyle }$( ${\displaystyle X}$; ${\displaystyle Y}$ Z${\displaystyle }$)${\displaystyle }$= ${\displaystyle {\mathbb{}}_{}}$ ${\displaystyle {}_{}}$[ D ${\displaystyle {}_{}}$ ${\displaystyle {\mathrm{L}}_{}}$( ${\displaystyle P_{}}$( ${\displaystyle X_{}}$, Y${\displaystyle {}_{}}$) ${\displaystyle Z_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle X_{}}$ ${\displaystyle Z_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ Y ${\displaystyle Z_{}}$) ${\displaystyle ]}$ ${\디스플레이$ 스타일 $I(X;Y$ Z$)=\mathb {E} _{Z}}$$[D_{\mathrm {KL}}}(P_{(X,Y)$ Z$}\P_{X$ Z$}\오타 P_{Y$ Z$\}\}\}\}\}\}\}.$

Thus ${\displaystyle I(X;Y Z)}$ is the expected (with respect to ${\displaystyle Z}$) Kullback–Leibler divergence from the conditional joint distribution ${\displaystyle P_{(X,Y) Z}}$ to the product of the conditional marginals ${\displaystyle P_{X Z}}$ and ${\displaystyle P_Y}$${\displaystyle Z_{}}$ ${\$ Z$\}\}.$ 상호 정보의 정의와 비교해 보십시오.null

이산형 분포에 대한 pmf의 관점에서

For discrete random variables ${\displaystyle X}$, ${\displaystyle Y}$, and ${\displaystyle Z}$ with support sets ${\displaystyle {\mathcal {X}}}$, ${\displaystyle {\mathcal {Y}}}$ and ${\displaystyle {\mathcal {Z}}}$, the conditional mutual information ${\displaysty$$르$ I$(X;Y$ Z$)}$은(는) 다음과 같다.

${\displaystyle I(X;Y Z)=\sum _{z\in {\mathcal {Z}}}p_{Z}(z)\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p_{X,Y Z}(x,y z)\log {\frac {p_{X,Y Z}(x,y z)}{p_{X Z}(x z)p_{Y Z}(y z)}}}$

여기서 한계, 관절 및/또는 조건부 확률 질량 함수는 적절한 첨자와 $함께$ p ${\displaystyle p}$로 표시된다.이는 다음과 같이 단순화할 수 있다.

연속 분포를 위한 PDF의 측면

For (absolutely) continuous random variables ${\displaystyle X}$, ${\displaystyle Y}$, and ${\displaystyle Z}$ with support sets ${\displaystyle {\mathcal {X}}}$, ${\displaystyle {\mathcal {Y}}}$ and ${\displaystyle {\mathcal {Z}}}$, the conditional mutual information ${\displaystyle I(X;YZ)}$${\displaystyle I(X;Y$ Z$)}$은(는) 다음과 같다.

${\displaystyle I(X;Y Z)=\int _{\mathcal {Z}}{\bigg (}\int _{\mathcal {Y}}\int _{\mathcal {X}}\log \left({\frac {p_{X,Y Z}(x,y z)}{p_{X Z}(x z)p_{Y Z}(y z)}}\right)p_{X,Y Z}(x,y z)dxdy{\bigg )}p_{Z}(z)dz}$

여기서 한계, 관절 및/또는 조건부 확률 밀도 함수는 $적절한{\displaystyle }$ 첨자를 가진$$ p ${\displaystyle p}$로 표시된다.이는 다음과 같이 단순화할 수 있다.

어떤 정체성

대안적으로, 우리는 다음과^[3] 같이 관절과 조건부 엔트로피의 관점에서 쓸 수 있다.

${\displaystyle {\reasoned}I(X;Y Z)&=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)\\&=H(X Z)-H(X Y,Z)\\&=H(X Z)+H(Y Z)-H(X,Y Z).\end{정렬}}}$

이것은 상호 정보와의 관계를 보여주기 위해 다시 쓰여질 수 있다.

${\displaystyle I(X;Y Z)=I(X;Y,Z)-I(X;Z)}$

보통 상호 정보에 대한 체인 규칙으로 재배열됨

${\displaystyle I(X;Y,Z)=I(X;Z)+I(X;Y Z)}$

또는

$(\displaystyle I(X;Y Z)=I(X;Y)-(I(X;Z)-I(X;Z Y)\,}$

위의 다른 동등한 형태는

${\displaystyle {\reasoned}I(X;Y Z)&=H(Z X)+H(X)++H(Z Y)+H(Y)-H(Z X,Y)-H(X,Y)-H(Z)\\&=I(X;Y)+H(Z X)+H(Z Y)-H(Z X,Y)-H(Z)\end{aligned}}\,.}$

상호 정보와 마찬가지로 조건부 상호 정보는 Kullback-Leibler의 차이점으로 표현될 수 있다.

${\displaystyle I(X;Y Z)=D_{\mathrm {KL}}{p(X,Y,Z)\p(X Z)p(Z)].}$

또는 단순한 Kullback-Leibler 분산의 기대값으로 다음과 같이 한다.

${\displaystyle I(X;Y Z)=\sum _{z\in {\mathcal {Z}}}p(Z=z)D_{\mathrm {KL} }[p(X,Y z)\ p(X z)p(Y z)]}$,

${\displaystyle I(X;Y Z)=\sum _{y\in {\mathcal {Y}}}p(Y=y)D_{\mathrm {KL} }[p(X,Z y)\ p(X Z)p(Z y)]}$.

보다 일반적인 정의

연속적 또는 기타 임의적 분포를 가진 랜덤 변수에 적용되는 조건부 상호 정보의 보다 일반적인 정의는 정규 조건부 확률의 개념에 따라 달라질 것이다.(또한 참조)^[4][5]null

Let ${\displaystyle (\Omega ,{\mathcal {F}},{\mathfrak {P}})}$ be a probability space, and let the random variables ${\displaystyle X}$, ${\displaystyle Y}$, and ${\displaystyle Z}$ each be defined as a Borel-measurable function from ${\displaystyle \Omega }$ to some state space endowed wi토폴로지 구조로군null

각 보렐 세트를 할당하여 정의된 각 랜덤 변수의 상태 공간에서 Borel 측정값$($개방 세트에 의해 생성된 σ-algebra에 대한)을 고려하십시오($F{\displaystyle \mathcal{}}$ {\$displaystyle {\mathfak {P}).$ 이 값을 F ${\$에서 premathcal} 측정값으로$$ 한다$.$ 이를 푸시 포워드 ${\displaystyle {}_{}\mathfrak{}}$ X${\displaystyle {}_{}}$= P = P${\displaystyle (X{}^{}}$).${\displaystyle X_{*}{\mathfrak{P}}={\$$$ 무작위 변수의 지원은 이 조치의 위상적 지원으로 정의된다. 즉, $s{\displaystyle \mathrm{}}$ ${\displaystyle \mathrm{u}}$ ${\displaystyle p}$ ${\displaystyle \mathrm{X}}$= ${\displaystyle s\mathrm{}}$ ${\displaystyle \mathrm{u}}$ ${\displaystyle \mathrm{p}}$ ${\displaystyle {\ast }_{}}$ ${\displaystyle {}_{}\mathfrak{}}$. ${\p디스플레이$ 스타일 $\matrmatrm {supt} \,X=\matrm {supt} \,X_{*}{\mathfrak {P}.$$}$

이제 우리는 공식적으로 무작위 변수의 하나(또는 제품 토폴로지를 통해 더 많은) 값이 주어진 조건부 확률 측정을 정의할 수 있다.Let ${\displaystyle M}$ be a measurable subset of ${\displaystyle \Omega ,}$ (i.e. ${\displaystyle M\in {\mathcal {F}},}$) and let ${\displaystyle x\in \mathrm {supp} \,X.}$ Then, using the disintegration theorem:

${\displaystyle {\mathfrak {P}}(M X=x)=\lim _{U\ni x}{\frac {{\mathfrak {P}}(M\cap \{X\in U\})}{{\mathfrak {P}}(\{X\in U\})}}\qquad {\textrm {and}}\qquad {\mathfrak {P}}(M X)=\int _{M}d{\mathfrak {P}}{\big (}\omega X=X(\omega ){\big )},}$

여기서 제한은 x ${\displaystyle x}$의 개방된 $이웃{\displaystyle }$ U ${\displaystyle U}$에 대해 적용되며$,$ 이는 포함 설정과 관련하여 임의로 더 작아질 수 있기 때문이다.null

마지막으로 르베그 통합을 통해 조건부 상호 정보를 정의할 수 있다.

${\displaystyle I(X;Y Z)=\int _{\Omega }\log {\Bigl (}{\frac {d{\mathfrak {P}}(\omega X,Z)\,d{\mathfrak {P}}(\omega Y,Z)}{d{\mathfrak {P}}(\omega Z)\,d{\mathfrak {P}}(\omega X,Y,Z)}}{\Bigr )}d{\mathfrak {P}}(\omega ),}$

여기서 통합과 통합은 우리가 방금 정의한 조건부 확률 측정의 일부를 포함하는 라돈-Nikodym 파생상품의 로그다.null

표기 주의사항

$I{\displaystyle }$( ${\displaystyle A;}$ ${\displaystyle B}$ ${\displaystyle C}$)${\displaystyle }$, ${\displaystyle I(A;B C),}$${\displaystyle ,}$ ${\displaystyle A,}$${\displaystyle ,}$ ${\displaystyle$ B$,}$ 및 $C$ ${\displaystyle$ C$}$와 같은 표현에서 반드시 개별 랜덤 변수를 나타내는 것으로 제한될 필요는 없으며$$, 또한 정의한 임의 변수 집합의 공동 분포를 나타낼 수 있다.동일한 확률 공간확률 이론에서 흔히 볼 수 있듯이, 우리는 쉼표를 사용하여 그러한 공동 분포를 나타낼 수 있다. 예를 들어 $I{\displaystyle }$(${\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {}_{}{}_{}}$ B ${\displaystyle {1\mathrm{}}_{}}$, ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {3\mathrm{}}_{}}$ ${\displaystyle C{}_{}{}_{}}$ ${\displaystyle {0\mathrm{}}_{}{}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$. ${\displaystyle I(A_{0},A_$},A_${$$1$};$B_{1},B_{2},B_{3} C_{0},C_{1}).$$}$ 따라서$$ 상호 정보 기호의 주요 인수를 구분하기 위해 세미콜론(또는 때때로 콜론 또는 쐐기 $\wedge {\displaystyle }$ ${\displaystyle \wedge$을 사용한다.(임의 변수의 임의 개수의 관절 엔트로피는 관절 분포의 엔트로피와 같기 때문에 관절 엔트로피에 대한 기호에는 그러한 구분이 필요하지 않다.)null

특성.

비네거티

는 것은 언제나 사실이다.

${\displaystyle \mathrm{I}}$( ${\displaystyle X;}$ Y ${\displaystyle Z}$) ${\displaystyle \ge }$ 0 ${\displaystyle I(X;Y$ Z$)\geq$ 0$\},$

이산형, 공동 분포된 랜덤 변수 $X{\displaystyle }$ ${\displaystyle$ X$\},$ $Y{\displaystyle }$ ${\displaystyle Y}$ $및$ Z ${\displaystyle$ Z$}$의 경우$.$ 이 결과는 정보 이론, 특히 샤논형 불평등이라고 알려진 것들의 다른 불평등을 입증하는 기본 구성 요소로 사용되어 왔다.조건부 상호 정보는 특정 정규성 조건 하에서 연속 랜덤 변수에 대해서도 음수가 아니다.^[6]null

상호작용 정보

세 번째 랜덤 변수에 대한 조건화는 상호 작용 정보라 불리는 $I{\displaystyle (X}$; ${\displaystyle Y}$)${\displaystyle }$- I${\displaystyle (X}$; ${\displaystyle Y}$ $){\displaystyle$ I$(X;Y)-I(X;Y$ Z$)}$의 차이를 증가시키거나 감소시킬 수 있다$.$랜덤 변수가 쌍으로 독립되어 있어도 그렇다.다음의 경우에 해당된다.

이 경우 $X{\displaystyle }$ ${\displaystyle X$ $Y{\displaystyle }$ ${\displaystyle Y}$ $및{\displaystyle }$ Z$$ ${\displaystyle Z}$은$($는${\displaystyle \mathrm{)}}$ 쌍으로 독립적이며${\displaystyle ,}$특히 $I{\displaystyle }$$($${\displaystyle ;}$ $Y$) =$,$ 그러나 I(X; $Y$Z${\displaystyle )}$$$= ${\displaystyle 1}$. ${\displaystyle \{\backslash \mathrm{displaystyle}}$ $I($$X;Y$ Z$)=1이다.$$}$

상호 정보에 대한 체인 규칙

${\displaystyle I(X;Y,Z)=I(X;Z)+I(X;Y Z)}$

상호작용 정보

조건부 상호 정보는 상호 작용 정보, 상호 정보의 일반화를 다음과 같이 유도적으로 정의하는데 사용된다.

${\displaystyle I(X_{1};\ldots;X_{n+1}=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots;X_{n}X_{n+1}),}$

어디에

${\displaystyle I(X_{1};\ldots ;X_{n} X_{n+1}=\mathb {E} _{X_{n+1}:{n+1}:{n1}:{n2}}[]D_{\mathrm {KL}}(P_{(X_{1},\ldots,X_{n}) X_{n+1}\P_{X_{1} X_{n+1} X_{n+1}}\otimes \cdots \otimes P_{X_{n_{n}X_{n+1}} X_{n+1}}}}}}}}}X_{n+1}:{n+1}}}}}}}}}}}}}}).}$

조건부 상호 정보는 무조건적인 상대보다 크거나 작을 수 있기 때문에 상호작용 정보는 양수, 음수 또는 영이 될 수 있으므로 해석하기 어렵다.null

참조