조건부 엔트로피

정보이론
엔트로피 미분 엔트로피 조건부 엔트로피 관절 엔트로피 상호정보 조건상호정보 상대 엔트로피 엔트로피 레이트 이산형 점의 밀도 제한
점증적 설비 특성 비율-분산 이론
섀넌의 소스 코딩 정리 채널 용량 노이즈 채널 코딩 정리 섀넌-하틀리 정리
v t

정보이론에서 조건부 엔트로피는 다른 $임의{\displaystyle }$ 변수 $X{\displaystyle }$ ${\displaystyle X}$의 값이 알려져 있다는$$ 점에서$$ 임의 변수 Y ${\displaystyle Y}$의 결과를 기술하는 데 필요한 정보의 양을 정량화한다. 여기서 정보는 셰넌, 나트 또는 하틀리 단위로 측정된다. $X{\displaystyle }$ ${\displaystyle X}$에 조건화된 $Y{\displaystyle }$ ${\displaystyle Y}$의 엔트로피는 $H{\displaystyle \mathrm{}(Y}$ ${\displaystyle X}$) ${\displaystyle \mathrm {H}(Y$ X$)}$로 기록된다$.$

정의

$X{\displaystyle }$ ${\displaystyle X}$에 지정된 $Y{\displaystyle }$ ${\displaystyle Y}$의 조건부 엔트로피는 다음과 같이 정의된다$$.

여기서$$ $X{\displaystyle \mathcal{}}$ ${\$ 및$$ $Y{\displaystyle \mathcal{}}$ ${\$은(는) $X{\displaystyle }$ ${\displaystyle X}$ 및$$ $Y{\displaystyle }$ ${\displaystyle Y}$의 지원 세트를 나타낸다$.$

참고: 고정 > ${\displaystyle c>0}$에 대한$$ 식 0 ${\displaystyle \log }$ ${\displaystyle }$ 0$${\$displaystyle$ 0$\log$ 0$}$ $및$ 0 ${\displaystyle \log }$ ${\displaystyle c/0\mathrm{}}$ ${\displaystyle 0\log c/0}$을(를) 0으로 간주하는 것이 관례다. This is because ${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \,c/\theta =0}$ and ${\displaystyle \lim _{\theta \to 0^{+}}\theta \,\log \theta =0}$^[1]

Intuitive explanation of the definition : According to the definition, ${\displaystyle \displaystyle H(Y X)=\mathbb {E} (\ f(X,Y)\ )}$ where ${\displaystyle \displaystyle f:(x,y)\ \rightarrow -\log(\ p(y x)\ ).$$}$ $f$${\displaystyle {\displaystyle }}$ ${\$$displaystyle$ $\$$displaystyle$$$$f}$이(${\displaystyle {\displaystyle }}$${\displaystyle {\displaystyle 가}}$${\displaystyle {\displaystyle )}}$ (${\displaystyle {\displaystyle x}}$ ,$$y ) {\$displaystyle$\$displaystyle$$$($x$$,$y$$$)\}{\displaystyle {\displaystyle }}$의 정보$$ 컨텐츠에 $연결$되며${\displaystyle {\displaystyle ,}}$ ${\displaystyle {\displaystyle 이}}$는 이벤트를 설명하는 데 필요한 정보의 양$({\displaystyle {\displaystyle }}$Y =${\displaystyle {\displaystyle }}$${\displaystyle {\displaystyle y}}$ )이다$.$$isplaystyle \displaystyle (Y=y)}$ given ${\displaystyle (X=x)}$. According to the law of large numbers, ${\displaystyle \displaystyle H(Y X)}$ is the arithmetic mean of a large number of independent realizations of ${\displaystyle \displaystyle f(X,Y)}$.

동기

Let ${\displaystyle \mathrm {H} (Y X=x)}$ be the entropy of the discrete random variable ${\displaystyle Y}$ conditioned on the discrete random variable ${\displaystyle X}$ taking a certain value ${\displaystyle x}$. Denote the support sets of ${\displaystyle X}$ and ${\displaystyle Y$$}$ by$$ $X{\displaystyle \mathcal{}}$ ${\$ 및$$ $Y{\displaystyle \mathcal{}}$ ${\${${\displaystyle Y}$$\}.$ $Y{\displaystyle }$ ${\displaystyle Y}$에 확률 $질량함수{\displaystyle {}_{}}$ ${\displaystyle p_{}}$ Y${\displaystyle {}_{}}$( y${\displaystyle }$) ${\$$Y}{(y$ $Y$ ${\$${\displaystyle \mathrm{displaystyle}}$ $Y}$의 무조건 엔트로피는 H${\displaystyle }$( Y${\displaystyle }$) ${\displaystyle :=}$ ${\displaystyle E\mathbb{}}$[ ${\displaystyle \mathrm{I}}$ ${\displaystyle }$( ${\displaystyle Y}$) ${\displaystyle ]}$ ${\displaystyle \mathrmatrm {H} (Y):$$=\mathb {E} [\operatorname {I}(Y)]},$즉.

${\displaystyle \mathrm {H} (Y)=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}=-\sum _{y\in {\mathcal {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},}$

여기서 $I{\displaystyle \mathrm{}}$ ${\displaystyle }$( ${\displaystyle y_{}}$ i${\displaystyle {}_{}}$) ${\displaystyle \operatorname {I}(y_{i})$은 y ${\displaystyle i_{}}$ ${\$ 값을 사용한$$ $Y{\displaystyle }$ ${\displaysty Y}$ 결과의 정보 콘텐츠다$.$ $X{\displaystyle }$ ${\$$displaystyle$ $X}$에서 $조건화$한 $Y{\displaystyle }$ ${\$$displaystyle$ $Y}$의 엔트로피는 조건부 예상에 의해 유사하게 정의된다$$.

${\displaystyle \mathrm {H}(Y X=x)=-\sum _{y\in {\mathcal {Y}}{\Pr(Y=X=x)\log _{2}{\Pr(Y=X=x)}}.}$

$H{\displaystyle \mathrm{}(Y}$ ${\displaystyle X}$) ${\displaystyle \mathrm${${\displaystyle H}$$}(Y$ X$)}$은$($는) $X{\displaystyle }$ ${\displaystyle X}$이$(가)$ 취할 수$$ 있는$$$모든$ 값 x {\$displaystyle$$x}$에 대해 $($ $X$= $x$)를 평균한 결과라는$$ 점에 유의하십시오. Also, if the above sum is taken over a sample ${\displaystyle y_{1},\dots ,y_{n}}$, the expected value ${\displaystyle E_{X}[\mathrm {H} (y_{1},\dots ,y_{n}\mid X=x)]}$ is known in some domains as equivocation.^[2]

이미지 $X{\displaystyle \mathcal{}}$ ${\$이(가) 있는 이산 랜덤 변수 $X{\displaystyle }$ ${\$$displaystyle$ $X}$ 및 이미지 $Y{\displaystyle \mathcal{}}$ ${\displaystyle$ Y}이$($$가)$ 있는 $경우{\displaystyle }$$X{\displaystyle }$ ${\displaystyle$ $X$$}$의 조건부 엔트로피는 $H$의 가중 합으로 ${\displaystyle \mathrm{정의}}$된다${\displaystyle .<img\; alt="\{\backslash mathcal\; Y\}"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/8935ef8cf454efa0b58363386c33f16a48ec36ca"\; style="vertical-align:\; -0.671ex;\; width:1.659ex;\; height:2.509ex;"\; papago-attr-id="206">}$p${\displaystyle }$(${\displaystyle }$${\displaystyle x}$) ${\displaystyle p(x)}$을(를) 가중치로 사용하여$$$x{\displaystyle }$ ${\displaystyle x}$의 가능한 각 값에 대해$$ ${\displaystyle \matrm {H}(Y$ X$=x)}:$^{[3]: 15}

${\displaystyle{\begin{정렬}\mathrm{H}(YX)\&\equiv \sum _{x\in{{X\mathcal}}}\,p())\,\mathrm{H}(YX=x)\\&, =-\sum _{x\in{{X\mathcal}}}p())\sum _{y\in{{Y\mathcal}}}\,p(y))\,\log \,p(y))\\&, =-\sum _{x\in{{X\mathcal}}}\sum _{y\in{{Y\mathcal}}}\,p(x, y)\,\log \,p(y))\\&, =-\sum _{x\in{{X\mathcal}},y\in{{Y\mathcal}}}p(.x,y)\log \,p(y))\\\&=-\sum _{x\in {\mathcal {X},y\in {\mathcal {Y}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X},y\in {\mathcal {Y}p(x,y)\log {\frac {p(x)}{p(x,y)}}}.\\end{aigned}}$

특성.

조건부 엔트로피는 0이다.

${\displaystyle }$$Y$ ${\displaystyle Y}$의 값이 $X{\displaystyle }$ ${\$displaystyle X$}$의 값으로 완전히$결정$되는 ${\displaystyle \mathrm{경우}}$에만 H$($ )${\displaystyle }$= 0 {\$displaystyle \matrm$ {H}(Y X)=0$$$\}.$

독립 랜덤 변수의 조건부 엔트로피

반대로 $Y{\displaystyle }$ ${\displaystyle$ Y$}$과 $X$ ${\displaystyle X}$이(가) 독립 랜덤 변수인 경우에만$$$$ $H{\displaystyle \mathrm{}}$(${\$displaystyle $\matrm {H}(Y)}$을(를) $표시$한다.

체인 룰

Assume that the combined system determined by two random variables ${\displaystyle X}$ and ${\displaystyle Y}$ has joint entropy ${\displaystyle \mathrm {H} (X,Y)}$, that is, we need ${\displaystyle \mathrm {H} (X,Y)}$ bits of information on average to describe its exact state. 이제 우리가 $먼저{\displaystyle }$ X ${\$${\displaystyle \mathrm{displaystyle}}$$$X$\}$의 값을 배운다면, $우리$는 H${\displaystyle }$( X${\displaystyle }$) ${\displaystyle \mathrm {H} (X)}$비트의$$ 정보를 얻었다. $X{\displaystyle }$ ${\displaystyle$ X$}$이(가) 알려지면$$ 전체 시스템의 상태를 설명하려면 $H{\displaystyle \mathrm{}(}$ ${\displaystyle X}$, Y${\displaystyle }$)${\displaystyle }$- ${\displaystyle H\mathrm{}(}$ ${\displaystyle X}$ ) - H( ${\displaystyle X}$) ${\displaystyle \mathrm {H}(X,Y)-\mathrmatrm {H}(X)}$비트만$$ 있으면 된다. 이 수량은 정확히 $H{\displaystyle \mathrm{}}$( ${\displaystyle Y}$ X${\displaystyle }$) ${\displaystyle \mathrmat {H}(Y X)}$이며$,$ 조건부 엔트로피의 체인 규칙을 제공한다.

${\displaystyle \mathrm {H}(Y X)\,=\\mathrm {H}(X,Y)-\mathrm {H}(X).}$^{[3]: 17}

체인 규칙은 위의 조건부 엔트로피 정의에서 따른다.

${\displaystyle{\begin{정렬}\mathrm{H}(YX)&, =\sum _{x\in{{X\mathcal}},y\in{{Y\mathcal}}}p(x, y)\log \left({\frac{p())}{p(x, y)}}\right)\\[4pt]&, =\sum _{x\in{{X\mathcal}},y\in{{Y\mathcal}}}p(x, y)(\log(p()))-\log(p(x,y)))\\[4pt]&, =-\sum _{x\in{{X\mathcal}},y\in{{Y\mathcal}}}p(x, y)\log(p(x,y))+\sum _{x\in{{X\mathcal}},y\in. {{Y\mathcal}}}{p(x,y)\log(p(x))}\\\[4pt]&=\mathrm {H}(X,Y)+\sum _{x\in {\mathcal {X}p(x)\log(p(x)\[4pt]&=\mathrm {H}-\mathrm {H}-\mathrmeth}(X)}(X).\end{정렬}}}$

일반적으로 다중 랜덤 변수에 대한 체인 규칙은 다음을 유지한다.

${\displaystyle \mathrm {H}(X_{1},X_{2},\ldots,X_{n})=\sum _{i=1}^{n}\mathrm {H}(X_{i}X_{1},\ldots,X_{i-1})}$^{[3]: 22}

곱셈대신 덧셈을 쓴다는 점을 제외하면 확률론에서 체인룰과 비슷한 형태를 띠고 있다.

베이즈 법칙

조건부 엔트로피 상태에 대한 베이스의 규칙

${\displaystyle \mathrm {H}(Y X)\,=\\mathrm {H}(X Y)-\mathrm {H}+\mathrm {H}(Y).}$

Proof. ${\displaystyle \mathrm {H} (Y X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$ and ${\displaystyle \mathrm {H} (X Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}$. Symmetry entails ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H}$$(Y,X$ 두 방정식을 빼는 것은 베이지스의 지배를 내포하고 있다.

$Y{\displaystyle }$ ${\displaystyle Y}$이(가) $주어진$ X ${\displaystyle X}$에 조건부로 독립되어 있는$$ 경우$$:

${\displaystyle \mathrm {H}(Y X,Z)\,=\,\\mathrm {H}(Y X)}$

기타 속성

모든 $X{\displaystyle }$ ${\displaystyle X}$ 및$$ $Y{\displaystyle }$ ${\displaystyle Y}$의 경우$:$

${\displaystyle {\begin{aligned}\mathrm {H} (Y X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X Y)+\mathrm {H} (Y X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}$

여기서 $I{\displaystyle \mathrm{}}$ ${\displaystyle }$( ${\displaystyle X}$; Y${\displaystyle }$) ${\displaystyle \operatorname {I}(X;Y)}$은(는$)$ $X{\displaystyle }$ {\$displaystyle X}$과$(와$) Y {\displaysty $Y}$ 사이의 상호 정보다$.$

독립형 $X{\displaystyle }$ ${\displaystyle X}$ 및$$ $Y{\displaystyle }$ ${\displaystyle Y}$의 경우$:$

${\displaystyle \mathrm{H}(Y}$ ${\displaystyle X}$)${\displaystyle }$= ${\displaystyle H\mathrm{}(Y}$) = H(Y ) ${\displaystyle \matrm {H}(Y)=\matrm {H}(Y)$ $및{\displaystyle \mathrm{}}$ H$$${\displaystyle (X}$ $Y$= ${\displaystyle H\mathrm{}(X)}$ ${\$ X(X)\,},},},},},},},},},},},},},},},},}

Although the specific-conditional entropy ${\displaystyle \mathrm {H} (X Y=y)}$ can be either less or greater than ${\displaystyle \mathrm {H} (X)}$ for a given random variate ${\displaystyle y}$ of ${\displaystyle Y}$, ${\displaystyle \mathrm {H} (X Y)}$ can never exceEd $H{\displaystyle \mathrm{}}$( ${\displaystyle X}$) ${\displaystyle \matrm {H}(X)}$.

조건부 미분 엔트로피

정의

위의 정의는 이산 랜덤 변수에 대한 것이다. 이산 조건부 엔트로피의 연속 버전을 조건부 차등(또는 연속) 엔트로피라고 한다. $X{\displaystyle }$ ${\displaystyle X}$ $및{\displaystyle }$ Y$$ ${\displaystyle Y}$을(를) 접합 확률밀도함수 $f{\displaystyle }$(${\displaystyle x}$ ${\displaystyle ,}$ y${\displaystyle }$) ${\displaystyle f(x,y)}$을(를) 가진 연속 랜덤 변수로 설정$$$.$ 차등 조건부 $엔트로피{\displaystyle }$ h${\displaystyle }$( ${\displaystyle X}$ ${\displaystyle Y}$) ${\displaystysty h(X Y)$는 다음과^{[3]: 249} 같이 정의된다$$.

특성.

이산 랜덤 변수에 대한 조건부 엔트로피와 대조적으로 조건부 미분 엔트로피는 음수일 수 있다.

이산형 사례에서와 같이 차동 엔트로피에 대한 체인 규칙이 있다.

${\displaystyle h(Y X)\,=\,h(X,Y)-h(X)}$^{[3]: 253}

그러나 관련된 차동 엔트로피가 존재하지 않거나 무한인 경우에는 이 규칙이 적용되지 않을 수 있다는 점에 유의하십시오.

또한 연속 랜덤 변수 간의 상호 정보의 정의에는 공동 미분 엔트로피가 사용된다.

${\displaystyle \operatorname {I}(X,Y)=h(X)-h(X Y)=h(Y)-h(Y X)}$

${\displaystyle h}$( ${\displaystyle X}$ ${\displaystyle Y}$) ${\displaystyle \le }$ h (${\displaystyle X}$) ≤ ${\displaystyle h}$ ( X ) ${\displaystyle$h$($X Y$)\leq$ h$(X)}$이(가$)$ X {\$displaystyle X}$과$$Y {\displaysty $Y}$이($가{\displaystyle }$) 독립적인$$ 경우에만 동일함$$.^{[3]: 253}

추정기 오류와의 관계

조건부 차동 엔트로피는 추정기의 예상 제곱 오차에 대해 하한을 산출한다. 임의의 $임의{\displaystyle }$ 변수$$X {\$displaystyle X$ , $관측치{\displaystyle }$Y {\$displaystyle$Y$$} 및 $추정기{\displaystyle \stackrel{}{}}$X $^$ {\$displaystyle$ {\$widehat{$X}}에 대해서는 다음이$$ 유지된다.^{[3]: 255}

$${\displaystyle \mathb{E} \왼쪽[{\bigl (}X-{\widehat{X}}{(Y)}{{\bigr )}^{2}\bigr )^\geck {\1}\frac {1}{1\pi e}e^{2h(XY)}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}$$

이것은 양자역학의 불확실성 원리와 관련이 있다.

양자 이론으로의 일반화

양자정보이론에서 조건부 엔트로피는 조건부 양자 엔트로피로 일반화된다. 후자는 고전적인 상대와 달리 부정적인 가치를 가질 수 있다.

참고 항목

• 엔트로피(정보이론)
• 상호정보
• 조건 양자 엔트로피
• 정보의 변동
• 엔트로피 전력 불평등
• 우도함수

참조