기브스의 부등식

정보이론에서 깁스의 불평등은 이산 확률 분포의 정보 엔트로피에 관한 진술이다. 확률 분포의 엔트로피에 대한 몇 가지 다른 경계는 깁스의 불평등에서 파생되는데, 여기에는 파노의 불평등이 포함된다. 그것은 19세기에 J. Willard Gibbs에 의해 처음 발표되었다.

기브스의 부등식

라고 가정해 보자.

${\displaystyle P=\{p_{1},\ldots ,p_{n}\}}}$

이산 확률 분포다. 다른 확률 분포의 경우

${\displaystyle Q=\{q_{1},\ldots,q_{n}\}}}$

(p와_i q가_i 0과 1 사이이기 때문에) 양수 사이의 다음과 같은 불평등은 유지된다.^{[1]: 68}

${\displaystyle -\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}}}}}}}$

만이 평등하게

${\displaystyle p_{i}=q_{i}}}$

나로서는 다시 말하면, 분포 P의 정보 엔트로피는 다른 분포 Q와의 교차 엔트로피보다 작거나 같다.

두 수량의 차이는 Kullback-Leibler difference 또는 상대 엔트로피이므로 불평등도 다음과 같이 기록할 수 있다.^{[2]: 34}

${\displaystyle D_{\mathrm {KL}}}}(P\Q)\equiv \sum _{n=1}^{np_{i}\log {\frac {p_{i}}}{q_}}}\geq 0.}$

base-2 로그의 사용은 선택 사항이며, 비트로 측정한 "평균적으로 놀랄 만한 것"으로 불평등의 양쪽에 있는 양을 언급할 수 있다는 점에 유의한다.

증명

단순성을 위해 자연 로그(ln)를 사용해 진술서를 증명한다.

${\displaystyle \log a={\frac {\ln a}{\ln2}},}$

우리가 선택한 특정한 로그는 단지 관계를 척도화 할 뿐이다.

$Let{\displaystyle }$ I ${\displaystyle I}$은 p가_i 0이 아닌 $모든$ i ${\displaystyle i}$의 집합을 나타낸다. 그 다음, ${\displaystyle \ln x}$ x${\displaystyle \le }$ ${\displaystyle x}$ - ${\displaystyle 1}${\$displaystyle \ln$x\$leq x-1}$ 모든 x > 0에 대해$$ x=1인 경우에만 동등하므로, 다음과 같은 조건을 갖추었다.

${\displaystyle -\sum _{i_{i}\ln {\frac{q_{i}}}\geq -}\sum _{i}\i\in I}}}\왼쪽({\frac {q_{i}}{p_{i}-1\rig)}$${\displaystyle =-\sum _{i}q_{i}+\sum _{i}p_{i}=-\sum _{i}q_{i}+1\geq 0}$

마지막 불평등은 확률_i 분포의 일부인_i p와 q의 결과물이다. 구체적으로 모든 0이 아닌 값의 합은 1이다. 그러나 일부 0이 아닌 q는_i p가_i 0이 아닌 상태에서 지수의 선택이 조건화되기 때문에 제외되었을 수 있다. 따라서 q의_i 합은 1보다 작을 수 있다.

지금까지 인덱스 세트 I ${\displaystyle I}$을$($를) 통해 다음 사항을 확인하십시오.

${\displaystyle }$-${\displaystyle \sum _{}}$ ${\displaystyle \underset{}{I}}$ ${\displaystyle \underset{}{}{}_{}}$ ${\displaystyle i_{}}$ ${\displaystyle \ln }$ q${\displaystyle q\frac{{}_{}}{}}$ i p ${\displaystyle \mathrm{i}\frac{{}_{}}{}}$0 ${\displaystyle -\sum _{i_{i}\ln {\frac{q_{i}}}}\geq$ 0$\},$

또는 동등하게

${\displaystyle }$-${\displaystyle \sum _{}}$ ${\displaystyle \underset{}{I}}$ ${\displaystyle \underset{}{}{}_{}}$ i ${\displaystyle q{}_{}{q}_{}}$ -${\displaystyle \underset{}{}}$ i ${\displaystyle \underset{}{\in }}$ ${\displaystyle \underset{}{I}}$ ${\displaystyle p}$ ${\displaystyle i_{}}$ ${\displaystyle }$ i ⁡ ${\displaystyle {}_{}}$ { i { p ${\displaystyle i_{}}$ ${\$}\ln q$_ \$i$\in$ I$}{i}}\i\i\in$ I$\}.$

Both sums can be extended to all ${\displaystyle i=1,\ldots ,n}$, i.e. including ${\displaystyle p_{i}=0}$, by recalling that the expression ${\displaystyle p\ln p}$ tends to 0 as ${\displaystyle p}$ tends to 0, and ${\displaystyle (-\ln q)}$ tends to ${\displays$$q{\displaystyle }$ ${\displaystyle q}$이(가) 0인 경향이$$ 있으므로 $tyle \infit }.$ 도착하다

${\displaystyle -\sum _{i=1}^{n}p_{i}\ln q_{i}\geq -\sum _{i=1}^{n}p_{i}\ln p_{i}}}}}}}}$

평등이 유지되려면, 우리는 필요하다.

1. ${\displaystyle {\frac {q_{i}}{p_{i}}}=1}$ for all ${\displaystyle i\in I}$ so that the equality ${\displaystyle \ln {\frac {q_{i}}{p_{i}}}={\frac {q_{i}}{p_{i}}}-1}$ holds,
2. and ${\displaystyle \sum _{i\in I}q_{i}=1}$ which means ${\displaystyle q_{i}=0}$ if ${\displaystyle i\notin I}$, that is, ${\displaystyle q_{i}=0}$ if ${\displaystyle p_{i}=0}$.

$p{\displaystyle \mathrm{i}}$${\displaystyle {}_{}}$=${\displaystyle }$${\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$ ${\displaystyle n}$ ${\displaystyle i=1,\ldots,n}$의 경우에만 이러한 현상이 발생할 수 있다$.$

대체 교정쇄

그 결과는 대안적으로 젠슨의 불평등, 로그섬 불평등 또는 쿨백-라이블러 분기가 브레그만 분리의 한 형태라는 사실을 사용하여 증명될 수 있다. 아래에서는 젠슨의 불평등에 근거한 증거를 제시한다.

로그는 오목함수이기 때문에 다음과 같은 것이 있다.

${\displaystyle \sum _{i}\log {\frac {q_{i}}{p_{i}}}\leq \log \sum _{i}p_{i}}{p_}}}}=\log \sum _{i}q_{i}}}{i}}\leq 0}$

첫 번째 불평등이 젠센의 불평등 때문이고, 마지막 평등은 위의 증거에 제시된 것과 같은 이유 때문이다.

더욱이 ${\displaystyle \mathrm{로그}}$ ${\displaystyle \log}$은(는) 엄격히 오목하기 때문에 옌센의 불평등의 평등한 조건에 의해 우리는 평등을 얻는다.

${\displaystyle {\frac{q_{1}:{p_{1}}={\frac {q_{2}}:}}=\cdots ={\frac {q_{n}}{p_{n}}}}}}}}}}}}}$

그리고

${\displaystyle \sum _{i}q_{i}=1}$

이 비율이 $\sigma {\displaystyle }$ ${\displaystyle \sigma }$이라고 가정해 봅시다$.$

${\displaystyle 1=\sum _{i}q_{i}=\sum _{i}\sum _{i}\summa p_{i}=\summa }$

$p{\displaystyle }$ ,${\displaystyle q}$ ${\displaystyle p,q}$이(가) 확률 분포라는$$ 사실을 사용하는 경우. $따라서{\displaystyle }$ p${\displaystyle }$= ${\displaystyle q}$ ${\displaystyle p=q}$에서 동등성이 발생한다$.$

코롤라리

$P{\displaystyle }$ ${\displaystyle P}$의 엔트로피는 다음으로$$ 제한된다.^{[1]: 68}

${\displaystyle H(p_{1},\ldots ,p_{n}}\leq \log n.}$

증거는 사소한 것이다 – 모든 i에 ${\displaystyle \mathrm{대해}}$ $q{\displaystyle {}_{}}$ ${\displaystyle i_{}}$= 1${\displaystyle }$/ ${\displaystyle n}$ ${\displaystyle q_{i}=1/n}$만 설정하면 된다.

참고 항목

• 정보 엔트로피
• 브레그만 발산
• 로그 합계 부등식

참조