이항 엔트로피 함수

정보이론에서 $H{\displaystyle \mathrm{}}$ ${\displaystyle }$( ${\displaystyle p}$) ${\displaystyle \operatorname {H}(p)$ 또는$$ H ${\displaystyle b_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle (p)}$ ${\displaystyle \operatorname {H} _{\text{b}(p$로 표시된 이항 엔트로피 함수는 두 값 중 하나의 $확률{\displaystyle }$ p$${\$displaysty p}$을 가진 베르누엘리 공정의 엔트로피로 정의된다.엔트로피 함수인$$$H{\displaystyle \mathrm{}(}$ X${\displaystyle }$) ${\displaystyle \mathrm {H}(X)}$의 특수한 경우다.수학적으로 베르누이 재판은 0과 1의 두 값만 맡을 수 있는 랜덤$$ 변수 $X{\displaystyle }$ ${\displaystyle X}$로 모델링되는데, 이는 상호 배타적이고 철저한 것이다.null

${\displaystyle \mathrm{Pr}}$ ${\displaystyle (X}$= ${\displaystyle 1}$)${\displaystyle }$= p ${\displaystyle \operatorname {Pr}(X$${\displaystyle =}$$1)=p$ ${\displaystyle \mathrm{Pr}}$ ${\displaystyle (X}$ ${\displaystyle =}$ ${\displaystyle 0)}$= ${\displaystyle 1}$- ${\displaystyle p}$ ${\displaysty \operatorname$ {$Pr}($X$$$=$$$$0)=1-p},$ $X{\displaystyle }$ ${\displaysty X}$의 엔트로피가 주어지는 경우

${\displaystyle \operatorname {H} (X)=\operatorname {H} _{\text{b}}(p)=-p\log _{2}p-(1-p)\log _{2}(1-p)}$,

$여기$서 0 ${\displaystyle {\mathrm{로그}}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$⁡ ${\displaystyle 0}$ ${\displaystyle 0\log _{2}0}$은(는) 0으로 간주된다$$.이 공식의 로그는 대개 (그래프에 표시된 것처럼) 베이스 2로 가져간다.이진 로그를 참조하십시오.null

$p{\displaystyle }$= ${\displaystyle 1\frac{\mathrm{}}{}}$ ${\displaystyle \frac{2}{}}$ ${\$ 이항 엔트로피 함수가 최대값에 도달한다$.$이것은 편향되지 않은 동전이 뒤집힌 경우다.null

${\displaystyle \mathrm{H}}$ ${\displaystyle }$( ${\displaystyle p}$) ${\displaystyle \operatorname${${\displaystyle H}$$}(p)}($은)은 전자가 하나의 실수를 매개 변수로 사용하는 반면 후자는 분포 또는 랜덤 변수를 매개 변수로 사용한다는 점에서$$ 엔트로피 $함수{\displaystyle \mathrm{}}$ H${\displaystyle (}$ X${\displaystyle }$) ${\displaysty \mathrm {H}(X)}$과 구별된다$$.때때로이항 엔트로피 함수는 H2((p){\displaystyle \operatorname{H}_ᆭ(p)}로표기되기도 하지만, H2(X){\displaysty \mathrm{H}_ᆯ(X)로 표기된 레니 엔트로피와 다르므로 혼동해서는 안 된다.

설명

정보이론의 관점에서 엔트로피는 메시지의 불확실성의 척도로 간주된다.직관적으로 말하면 $p{\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle p=0}$을 가정해 보자$.$ 이 확률에서 사건은 절대 일어나지 않을 것이 확실하므로 불확실성이 전혀 없으므로 엔트로피가 0으로 이어진다.$p{\displaystyle }$= ${\displaystyle 1}$${\displaystyle p=1}$인 경우 결과는 다시 확실하므로 여기서도 엔트로피가 0이다.$p{\displaystyle }$= ${\displaystyle 1}$/ ${\displaystyle 2\mathrm{}}$${\displaystyle p=1/2}$일 때 불확실성은 최대치가 된다. 이 경우 결과에 공정한 베팅을 한다면 확률에 대한 사전 지식으로 얻을 이점은 없다.이 경우 엔트로피는 1비트 값으로 최대값이다.중간 값은 이러한 경우 사이에 속한다. 예를 들어, $p{\displaystyle }$=${\displaystyle 1}$ / ${\displaystyle 4\mathrm{}}$ ${\displaystyle$p=$1/4$ 결과에 대한 불확실성의 척도가 여전히 존재하지만, 여전히 결과를 정확하게 예측할 수 있는 경우가 더 많기 때문에 불확실성 측정치 또는 엔트로피는 1 가득 비트보다 작다.null

파생상품

이항 엔트로피 함수의 파생상품은 로짓 함수의 음수로 표현될 수 있다.

${\displaystyle {d \over dp}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{2}(p)=-\log _{2}\left({\frac {p}{1-p}}\right)}$.

테일러 시리즈

1/2의 근방에 있는 이항 엔트로피 함수의 테일러 시리즈는

${\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln2}}\sum _{n=1}^{n1}{\frac {(1-2p)^{{n}}{n(2n-1)}}}}}}}}}}}}$

$0{\displaystyle \mathrm{}}$ ${\displaystyle ▼}$ ${\displaystyle 1}$ $displaystyle$ 0$\leq p\leq$ p\leq 1}의$경우$

경계

< ${\displaystyle 0<p<1$^[1]

${\displaystyle \ln(2)\cdot \log _{2}(p)\cdot \log _{2}(p)\leq H_{b}(p)\leq \log _{2}(p)\cdotlog _{2}(1-p)}$

그리고

${\displaystyle 4p(1-p)\leq H_{\text{b}(p)\leq(4p(1-p))^{(1/\ln 4)}}}}$

여기서 ${\displaystyle \ln }$ ${\displaystyle \ln }$은(는) 자연 로그를 의미한다$$.null

참고 항목

• 미터 엔트로피
• 정보이론
• 정보 엔트로피
• 정보의 수량

참조

추가 읽기

• 맥케이, 데이비드 J. C..정보 이론, 추론 및 학습 알고리즘 케임브리지:케임브리지 대학 출판부, 2003.ISBN 0-521-64298-1