정보 내용

정보이론에서 정보내용, 자기정보, 놀라움 또는 섀넌 정보는 임의변수에서 특정 사건이 발생할 확률에서 도출된 기본량이다. 그것은 확률을 표현하는 대안적인 방법으로 생각할 수 있는데, 그것은 확률이나 로그오드와 비슷하지만, 정보이론의 설정에서 특별한 수학적인 이점을 가지고 있다.

섀넌 정보는 특정 결과의 "깜짝 놀랄" 수준을 정량화하는 것으로 해석할 수 있다. 그러한 기본 수량이기 때문에, 무작위 변수의 최적 소스 코딩이 주어지는 이벤트 전송에 필요한 메시지의 길이와 같은 몇 가지 다른 설정에도 나타난다.

섀넌 정보는 무작위 변수의 자기정보의 기대값인 정보 이론 엔트로피와 밀접하게 관련되어 있어, 무작위 변수가 "평균적으로" 얼마나 놀라운지를 수량화한다. 이것은 관찰자가 변수를 측정할 때 변수에 대해 얻을 것으로 예상하는 평균 자기 정보의 양이다.^[1]

정보 콘텐츠는 정보의 다양한 단위로 표현할 수 있으며, 그 중 가장 보편적인 것이 아래와 같이 「비트」(때로는 「샤논」이라고도 한다)이다.

정의

클로드 섀넌의 자기 정보에 대한 정의는 다음과 같은 몇 가지 공리를 충족시키기 위해 선택되었다.

확률이 100%인 사건은 전혀 놀랍지 않으며 아무런 정보도 제공하지 않는다.
사건이 일어날 가능성이 낮을수록 더 놀랍고 더 많은 정보를 산출한다.
두 개의 독립된 사건을 별도로 측정한다면, 정보의 총량은 개별 사건의 자기 정보 제공의 합이다.

상세한 파생은 아래와 같으나, 이 세 가지 공리를 만족하는 확률의 고유한 함수가 있다는 것을 알 수 있다. 확률 $P$ $P$ 을 $x$ (를) 가진 $이벤트$ x $x$ 을 $P$ 를) 광범위하게 지정하면 정보 콘텐츠는 다음과 같이 정의된다.

\operatorname {I}(x):=-\log _{b}{b}{b}{\log[\Pr {\좌측(x\우측)}\right]=-\log _{b}{\좌측(P\우측)}.

로그의 베이스는 지정되지 않은 상태로 유지되며, 이는 위의 스케일링 계수에 해당된다. 다른 기본 선택은 다른 정보 단위에 해당된다. 로그 기반이 2인 경우 단위는 비트 또는 섀넌이고, 로그가 자연 로그(베이스 e)인 경우 단위는 nat이고, "자연"의 줄임말이며, 베이스가 10인 경우 단위는 하틀리, 십진수 또는 때때로 dits이다.

형식적으로 확률질량함수 $p_{X}{\left(x\right)}$ $p_{X}{\left(x\right)}$ ( x $p_{X}{\left(x\right)}$ ) ${\$ $displaystyle X}$ 를 결과 $X$ $x$ $x$ 로 $X$ $X$ 하는 $자기$ 정보는 다음과^[2] 같이 정의된다 $x$ $p_{X}{\left(x\right)}$

\operatorname {I} _{X}(x):-\log {\좌측[p_{X}{\좌측(x\우측)}\우측]=\log {\좌측({\frac {1}{p_{X}{\좌측(x\우측)}}}\우측}}}}}.

위의 $X$ 임의 변수 $X$ $X$ 의 섀넌 엔트로피는 다음과 같이 정의된다.

{\begin{aignedat}{2}\mathrm {H}(X)&=\sum _{x}{-p_{X}{\reft(x\right)}\log {p_{X}{\reft(x\right){p(x\right)}}}\\&=\sum _{x}{p_{X}{\left(x\right)}\operatorname {I} _{X}(x)}\\&{\overset {\underset {\mathrm {def} }{}}{=}}\ \operatorname {E} {\left[\operatorname {I} _{X}(X)\right]},\end{alignedat}}

정의에

따라

X

X

측정의 예상 정보 내용과 동일함

X

^[3]^{: 11}^[4]^{: 19–20}

위의 자체 정보에 대해 $I_{X}(x)$ $I_{X}(x)$ $I_{X}(x)$ X $I_{X}(x)$ ( $I_{X}(x)$ ) $I_{X}(x)$ 을(를) 사용하는 것은 보편적이지 않다. Since the notation $I(X;Y)$ is also often used for the related quantity of mutual information, many authors use a lowercase $h_{X}(x)$ for self-entropy instead, mirroring the use of the capital $H(X)$ for the entropy.

특성.

단조롭게 확률 함수를 감소

주어진 확률 공간의 경우, 희귀 사건의 측정은 직관적으로 더 "놀라움"이며, 더 많은 공통 값보다 더 많은 정보 콘텐츠를 산출한다. 따라서 자기 정보는 확률을 엄격히 감소시키는 단조함수, 또는 때로는 "항체함수"라고 불리기도 한다.

표준 확률은 구간 $[0,1]$ [ $[0,1]$ $[0,1]$ $[0,1]$ ${\displaystyle [0,1]$ 에서 실제 숫자로 표시되지만 $[0,1]$ 자체 정보는 구간 $[0,\infty ]$ ∞ $[0,\infty ]$ ${\displaystyle [0,\inflit ]$ 에서 확장된 실수로 표시된다 $[0,\infty ]$ 특히 로그 기반에 대한 선택에는 다음이 있다.

특정 사건이 발생할 확률을 100%로 하는 경우, 그 $-\log(1)=0$ 자체 정보는 - $-\log(1)=0$ ( 1 ) $-\log(1)=0$ = 0 $-\log(1)=0$ [\ $displaystyle -\log(1)=$ 0 $-\log(1)=0$ : 발생은 "완전히 놀랄 일이 아니며" 정보를 산출하지 않는다.
특정 사건의 발생 확률이 0%인 경우, 그 자체 정보는 - $-\log(0)=\infty$ log $-\log(0)=\infty$ ( 0 $-\log(0)=\infty$ ) $-\log(0)=\infty$ = $-\log(0)=\infty$ ${\displaystyle -\log(0)=\fully$ $-\log(0)=\infty$ 발생은 "무한히 놀라운 일"이다.

여기서 몇 가지 일반적인 속성을 얻을 수 있다.

직관적으로, 예상치 못한 사건을 관찰함으로써 더 많은 정보를 얻는다. 그것은 "놀라움"이다.
- 예를 들어, 만약 앨리스가 복권에 당첨될 가능성이 1백만 분의 1이 된다면, 그녀의 친구 밥은 그녀가 복권에 당첨되었다는 것을 알게 됨으로써 그녀가 주어진 날에 잃어버린 것보다 훨씬 더 많은 정보를 얻게 될 것이다. (다음 항목 참조): 복권수학.)
이것은 무작위 변수의 자기 정보와 그 분산 사이의 암묵적 관계를 설정한다.

로그 노드에 대한 관계

섀넌 정보는 로그오드와 밀접한 관련이 있다. 특히 일부 사건 $x$ $x$ 을(를) 고려할 $x$ 때 $p(x)$ ( $p(x)$ ) ${\displaystyle$ $p$ $(x)}$ 이(가) $x$ ${\$ $displaystyle$ x $}$ 의 $x$ 발생 확률이고 $p(x)$ , $p(\lnot x)=1-p(x)$ ( $p(\lnot x)=1-p(x)$ x $p(\lnot x)=1-p(x)$ ) = $p(\lnot x)=1-p(x)$ - $(\lnot x)=1-p$ $($ $x)}$ 이 $p(\lnot x)=1-p(x)$ (가 $x$ 발생하지 않을 확률이라고 $가정$ 한다. 그러면 로그 소드의 정의는 다음과 같다.

{\log-log-log-log-log-log-frac {p(x)}{p(\lnot x)}}

이는 다음 두 가지 섀넌 정보의 차이로 표현될 수 있다.

{\text{log-properties}(x)=I(\lnot x)-I(x)

즉, 로그오드는 사건이 '하지 않는다'면 놀라움의 수준을 뺀 것으로 해석할 수 있다.

독립 이벤트의 추가성

두 개의 독립된 이벤트의 정보 콘텐츠는 각 이벤트의 정보 콘텐츠의 합이다. 이 속성은 수학에서는 부가성으로 알려져 있고, 시그마는 측정과 확률 이론에서는 특히 부가성으로 알려져 있다. 확률 $p_{Y}(y)$ 질량 함수가 $p_{X}(x)$ X $p_{X}(x)$ ( $p_{X}(x)$ ) $p_{X}(x)$ 이고 $p_{X}(x)$ $p_{Y}(y)$ $p_{Y}(y)$ ( $p_{Y}(y)$ $p_{Y}(y)$ 인 ${\textstyle X,\,Y}$ 두 개의 독립 랜덤 변수를 ${\textstyle X,\,Y}$ 하십시오 $.$ 접합 확률 질량 함수는

p_{X,Y}\\왼쪽(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\(x)\p_{Y}\!(y)

${\textstyle X}$ X ${\textstyle X}$ {\ $textstyle$ X $}$ 과 ${\textstyle X}$ Y ${\textstyle Y}$ {\ $textstyle$ Y}은 ${\textstyle Y}$ (는) 독립적이기 때문이다. 결과의 $(X,Y)=(x,y)$ 정보 내용 $(X,Y)=(x,y)$ , Y $(X,Y)=(x,y)$ ) $(X,Y)=(x,y)$ = $(X,Y)=(x,y)$ ( $(X,Y)=(x,y)$ , $(X,Y)=(x,y)$ ) ${\displaystyle(X,Y)=(x,y)}$

{\begin}\operatorname {I} _{X,Y}&=-\log_{2}\왼쪽[p_{X,Y}(x,y)\오른쪽]=-\log _{2}\왼쪽[p_{X}\!(x)p_{Y}\!(y)\\\\\\\\\\\\\\\오른쪽]\[5pt]&=-\log _{2}\좌측[p_{X}{(x)}\우측]-\log _{2}\좌측[p_]Y}{{(y)}\오른쪽]\\[5pt]&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aigned}}}

§ 2개의 독립 주사위, 동일한 분포의 예를 참조하십시오.

우도에 대한 해당 속성은 독립 이벤트의 로그 우도가 각 이벤트의 로그 우도의 합이라는 것이다. 로그 우도를 "지원" 또는 "부정적인" 또는 "부정적인" 것으로 해석하는 것(어떤 사건이 특정 모델을 지원하는 정도: 사건이 놀랄 일도 아닌 정도까지 사건이 지원하는 정도, 모델이 주어진 경우) 이것은 독립적 사건이 지원을 추가한다는 것을 명시한다: 두 사건이 통계적 추론을 위해 함께 제공하는 정보는 그들의 독립된 정보의 합계

메모들

이 조치는 결과를 보는 '깜짝 놀랄 만한'(매우 있음직하지 않은 결과는 매우 놀랍다)을 상징하기 때문에 '놀라운'이라고도 불려왔다. 이 용어(로그 확률 척도로서)는 마이런 트리부스가 1961년 저서 '온도조절기'와 '열역학'에서 만든 말이다.^[5]^[6]

사건이 (변수의) 무작위 실현일 때 변수의 자기 정보는 실현의 자기 정보의 기대값으로 정의된다.

자기 정보는 적절한 득점 규칙의 예다.^{[clarification needed]}

예

페어 코인 토스

페어 코인 $[\displaystyle X}$ 를 던지는 베르누이 재판을 생각해 보십시오 $X$ The probabilities of the events of the coin landing as heads $H$ and tails $T$ (see fair coin and obverse and reverse) are one half each, ${\textstyle p_{X}{(H)}=p_{X}{(T)}={\tfrac {1}{2}}=0.5}$ . Upon measuring the variable as heads, the associved 정보 이득은

\operatorname {I} _{X}(H)=-\log_{2}{{p_{X}}}}}=-\log _{2}\!{\tfrac {1}{2}}=1,

그래서 헤드로 공정한 코인 착지의 정보 이득은 1 섀넌이다.^[2]

T

로 T

T

꼬리

T

측정에 따른 정보 이득은 다음과 같다.

\operatorname {I} _{X}(T)=-\log _{2}{p_{X}}}}}=-\log _{2}\!{\tfrac {1}{2}}=1{\text{shannon}}.

페어 다이 롤

우리가 공정한 육면체 주사위를 가지고 있다고 가정하자. 주사위 굴림의 값은 확률 질량 함수가 있는 $X\sim \mathrm {DU} [1,6]$ 이산형 균일 랜덤 $X\sim \mathrm {DU} [1,6]$ X $X\sim \mathrm {DU} [1,6]$ ~ $X\sim \mathrm {DU} [1,6]$ $X\sim \mathrm {DU} [1,6]$ [ $X\sim \mathrm {DU} [1,6]$ , $X\sim \mathrm {DU} [1,6]$ $X\sim \mathrm {DU} [1,6]$ $[\displaystyle X\sim \mathrmat$ { $DU} [1,6]}$ 이다.

p_{X}(k)={\begin{case}{\frac {1}{1}{6},&k\in \{1,2,3,4,5,6\}\0,{\text{otherwise}\end{case}}}}}}}}}}

4를 굴릴 확률은 다른 유효한 롤과 마찬가지로

{\textstyle p_{X}(4)={\frac {1}{6}}}

{\textstyle p_{X}(4)={\frac {1}{6}}}

(

{\textstyle p_{X}(4)={\frac {1}{6}}}

)

{\textstyle p_{X}(4)={\frac {1}{6}}}

= 1

{\textstyle p_{X}(4)={\frac {1}{6}}}

{\

이다. 4롤링의 정보 내용은 다음과 같다.

\operatorname {I} _{X}=-\log_{2}{p_{X}{{2}=-\log_{2}{\tfrac{1}{1}}}}}{{6}}}}\text{shanons}}}}}}}}

지식의

두 개의 독립적인 동일한 분포의 주사위

두 개의 독립적이고 동일한 분포의 ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ 변수 ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ , Y ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ ~ ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ [ ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ , ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ ${\textstyle$ X $,\, Y\sim \mathrmat {DU}[1,6]$ 이 ${\textstyle X,\,Y\sim \mathrm {DU} [1,6]}$ 각각 독립적인 공정 6면 주사위 굴림에 해당한다고 가정합시다. $X$ $X$ 및 $X$ Y $Y$ 의 공동 분포는 $Y$

{\begin}p_{X,Y}\!\왼쪽(x,y\오른쪽)&{}=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)\\&}={\begin}}\displaystyle {1 \over 36}\x,y\in[1,6]\cap \mathb {0&{text}\nortext}\nortext}\nortext}}}}\end{case}\end{aigned}

임의변수 $(X,Y)=(2,\,4)$ , $(X,Y)=(2,\,4)$ ) $(X,Y)=(2,\,4)$ = $(X,Y)=(2,\,4)$ ( $(X,Y)=(2,\,4)$ , $(X,Y)=(2,\,4)$ ) ${\displaystyle (X,Y)=(2,\,4$ )의 정보 내용은 다음과 $(X,Y)=(2,\,4)$ 같다 $.$

{\begin}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\왼쪽[p_{X,Y}{(2,4)}\오른쪽]=\log _{2}\!{36}=2\log _{2}\!{6}\\&\ 약 5.169925{\text{shanons},\end{aigned}}}

또한 § 독립적 사건의 추가성에 의해 계산될 수 있다.

{\begin}\operatorname {I} _{X,Y}{(2,4)}&=-\log _{2}\!{\왼쪽[p_{X,Y}{(2,4)}\오른쪽]=-\log _{2}\!{\왼쪽[p_{X}(2)\오른쪽]-\log _{2}\!{\\좌측[p_{Y}(4)\우측]\\&=2\log _{2}\!{6}\\&\ 약 5.169925{\text{shanons}.\end{정렬}}

롤링 빈도 정보

주사위가 어떤 가치를 가졌는지 모르는 상태에서 주사위의 가치에 대한 정보를 제공받으면 이른바 셈 변수를 가지고 접근법을 공식화할 수 있다.

C_{k}:=\delta _{k}(X)+\delta _{k}(Y)={\begin{cases}0,&\neg \,(X=k\vee Y=k)\\1,&\quad X=k\,\veebar \,Y=k\\2,&\quad X=k\,\wedge \,Y=k\end{cases}}

k\in \{1,2,3,4,5,6\}

,

k\in \{1,2,3,4,5,6\}

,

k\in \{1,2,3,4,5,6\}

3,

k\in \{1,2,3,4,5,6\}

,

k\in \{1,2,3,4,5,6\}

,

k\in \{1,2,3,4,5,6\}

k\in \{1,2,3,4,5,6\}

{\displaystyle k\in \{1,2,3,4,5,6\}},

{\textstyle \sum _{k=1}^{6}{C_{k}}=2}

{\textstyle \sum _{k=1}^{6}{C_{k}}=2}

=

{\textstyle \sum _{k=1}^{6}{C_{k}}=2}

{\textstyle \sum _{k=1}^{6}{C_{k}}=2}

{\textstyle \sum _{k=1}^{6}{C_{k}}=2}

{\textstyle \sum _{k=1}^{6}{C_{k}}=2}

= 2

{\textstyle \sum _{k=1}^{C_{k}}}}}}}}

의

{\textstyle \sum _{k=1}^{6}{C_{k}}=2}

경우 카운트는 다항 분포를 가진다.

{\begin{aligned}f(c_{1},\ldots ,c_{6})&{}=\Pr(C_{1}=c_{1}{\text{ and }}\dots {\text{ and }}C_{6}=c_{6})\\&{}={\begin{cases}{\displaystyle {1 \over {18}}{1 \over c_{1}!\cdots c_{k}!}},\ &{\text{when }}\sum _{i=1}^{6}c_{i}=2\\0&{\text{otherwise,}}\end{cases}}\\&{}={\begin{cases}{1 \over 18},\ &{\text{when 2 }}c_{k}{\text{ are }}1\\{1 \over 36},\ &{\text{when exactly one }}c_{k}=2\\0,\ &{\text{otherwise.}}}\end{case}\end{aigned}

To verify this, the 6 outcomes ${\textstyle (X,Y)\in \left\{(k,k)\right\}_{k=1}^{6}=\left\{(1,1),(2,2),(3,3),(4,4),(5,5),(6,6)\right\}}$ correspond to the event $C_{k}=2$ and a total pro의 가능성. 1/6. 결과가 같기 때문에 주사위가 어떤 결과를 굴렸는지 정체성을 가지고 충실히 보존된 유일한 사건들이다. 다른 숫자들을 굴리는 주사위를 구별할 줄 아는 지식이 없다면, ${\textstyle {\binom {6}{2}}=15}$ $6$ 2 ${\textstyle {\binom {6}{2}}=15}$ ) = 15 ${\textstyle {\binom {6}{2}}=15}$ {\ $textstyle$ {\ $binom$ { $6}{2}}=$ 15} 조합은 ${\textstyle {\binom {6}{2}}=15}$ 한 숫자를 굴리는 주사위, 다른 숫자는 다른 숫자를 굴리는 주사위에 대응하며 각각 확률 1/18을 갖는다. 실제로 6 ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$ as 1 ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$ + ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$ ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$ 1 ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$ = ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$ ${\textstyle 6\cdot {\tfrac {1}{36}+15}\cdot {\tfrac {1}{18}=1},$ 필요에 따라 ${\textstyle 6\cdot {\tfrac {1}{36}}+15\cdot {\tfrac {1}{18}}=1}$

아니나 다를까 두 주사위가 모두 같은 특정 숫자로 굴러갔다는 것을 배우는 정보 콘텐츠는 한 주사위가 하나의 숫자, 다른 주사위가 다른 숫자라는 것을 배우는 정보 콘텐츠보다 더 많다. Take for examples the events $A_{k}=\{(X,Y)=(k,k)\}$ and $B_{j,k}=\{c_{j}=1\}\cap \{c_{k}=1\}$ for $j\neq k,1\leq j,k\leq 6$ . For example, $A_{2}=\{X=2{\text{ and }}Y=2\}$ ${\displaystyle A_{2}=\{X=2{\text{$ 및 }}}{} $Y=2\}\$ $B_{3,4}=\{(3,4),(4,3)\}$ 과 $A_{2}=\{X=2{\text{ and }}Y=2\}$ (와) $B_{3,4}=\{(3,4),(4,3)\}$ 3 $B_{3,4}=\{(3,4),(4,3)\}$ , $B_{3,4}=\{(3,4),(4,3)\}$ = $B_{3,4}=\{(3,4),(4,3)\}$ { $B_{3,4}=\{(3,4),(4,3)\}$ ( $B_{3,4}=\{(3,4),(4,3)\}$ , $B_{3,4}=\{(3,4),(4,3)\}$ $B_{3,4}=\{(3,4),(4,3)\}$ ( $4$ 3 $B_{3,4}=\{(3,4),(4,3)\}$ ${\displaystyle B_{3,4}=\(3,$ 3 $B_{3,4}=\{(3,4),(4,3)\}$

정보 내용은

\operatorname {I}(A_{2})=-\log _{2}\!{\tfrac {1}{36}}=5.169925{\text{shanons}

\operatorname {I} \left(B_{3,4}\오른쪽)=-\log _{2}\!{\tfrac {1}{18}=4.169925{\text{shanons}

Let ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ = ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ = ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ 6 ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ${\$ 6}{ $A_{i}}}$ 은(는) 두 주사위가 같은 값을 굴린 사건이고 ${\textstyle {\text{Same}}=\bigcup _{i=1}^{6}{A_{i}}}$ ${\text{Diff}}={\overline {\text{Same}}}$ = $}{\$ 은 주사위가 서로 다른 사건이다 ${\text{Diff}}={\overline {\text{Same}}}$ . 그런 다음 ${\textstyle \Pr({\text{Same}})={\tfrac {1}{6}}}$ ) = ${\textstyle \Pr({\text{Same}})={\tfrac {1}{6}}}$ 6 ${\$ { $1}{6}},$ ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$ ) ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$ = ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$ ${\textstyle \Pr({\text{Diff}})={\tfrac {5}{6}}}$ ${\$ 이벤트의 정보 내용은

\operatorname {I}({\text{Same})=-\log _{2}\!{\tfrac{1}{6}=2.5849625{\text{shannons}

\operatorname {I}({\text{Diff})=-\log _{2}\!{\tfrac {5}{6}}=0.2630344{\text{shanons}}.

주사위 합계에서 얻은 정보

두 개의 독립 랜덤 변수 합계의 확률 질량 또는 밀도 함수(집합 확률 측정)는 각 확률 측정치의 콘볼루션이다. In the case of independent fair 6-sided dice rolls, the random variable $Z=X+Y$ has probability mass function ${\textstyle p_{Z}(z)=p_{X}(x)*p_{Y}(y)={6- z-7 \over 36}}$ , where $*$ represents the discrete convolution. 결과 $Z=5$ = $Z=5$ $Z=5$ 은(는) 확률 p ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$ ) ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$ = 4 ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$ = 1 ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$ ${\$ \ $9}}}$ 을 ${\textstyle p_{Z}(5)={\frac {4}{36}}={1 \over 9}}$ 를) 가지고 $Z=5$ 있다. 따라서 주장된 정보는 다음과 같다.

\operatorname {I} _{Z}(5)=-\log _{2}{\tfrac {1}{1}}}\log _{2}{9}\ 약 3.16925{\text{shanons.}}

일반 이산형 균일 분포

Generalizing the § Fair dice roll example above, consider a general discrete uniform random variable (DURV) $X\sim \mathrm {DU} [a,b];\quad a,b\in \mathbb {Z} ,\ b\geq a.$ For convenience, define ${\textstyle N:=b-a+1}$ . p.f.는

p_{X}(k)={\begin{case}{\frac {1}{{N},&k\in [a,b]\cap \mathb {Z}\0,{\text{otherwise}}}}.\end{case}}

일반적으로 DURV의 값은 정수가 될 필요가 없으며, 심지어 균일하게 간격을 두고 정보이론의 목적을 위해 사용할 필요가 없다. 그것들은 단지 장비될 필요가 있을 뿐이다.^[2] 관측치

X=k

= k

X=k

의 정보 이득은

X=k

\operatorname {I} _{X}(k)=-\log _{2}\frac {1}{{N}=\log _{2}{N}{\text{shanons}}}}.

특수 사례: 상수 랜덤 변수

$b$ 가 $b=a$ 위의 $b=a$ $b=a$ 인 경우, $X$ {\ $displaystyle X}$ 은 $(는)$ = $X=b$ ${\displaystyle$ $X=b$ X $b$ $}$ 에 의해 결정적으로 주어진 확률 분포를 가진 일정한 랜덤 변수로 변질되며 $X$ $X=b$ $,$ ${\textstyle p_{X}(k)=\delta _{b}(k)}$ 을 $측정$ 한다. $X$ $X$ 이(가) 취할 수 있는 $X$ 유일한 값은 $b$ 으로 b{\ $displaystyle b$ 이므로 $X$ {\ $displaystyle$ X $}$ 의 측정에 대한 정보 컨텐츠는 $X$

\operatorname {I} _{X}(b)=-\log _{2}{1}=0.

일반적으로 알려진 값을 측정하여 얻은 정보는 없다.^[2]

범주형 분포

위의 모든 경우를 일반화하면서 ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ S ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ = ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ { ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ = ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ ${\$ {\ $mathcal{S}={\bigl$ \{} $s_{i}{\bigr \}}_{i=$ 1}^{ $N}}}$ 이(가) 제공하는 범주형 ${\textstyle {\mathcal {S}}={\bigl \{}s_{i}{\bigr \}}_{i=1}^{N}}$ 이산 랜덤 변수를 고려하십시오.

p_{X}(k)={\begin}p_{i},&k=s_{i}\in {\mathcal {S}\0,&{\text{otherwise}}.\end{case}}

정보이론의 목적상, $s\in {\mathcal {S}}$ ${\$ 값은 숫자가 될 필요가 없으며 $s\in {\mathcal {S}}$ , 확률 측정 $p$ $p$ 까지 정규화된 유한 측정 공간에 대해 상호 배타적인 사건이 될 수 있다 $p$ 일반성의 손실 없이 범주형 d를 가정할 수 있다.이등분석은 세트 ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ [ ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ = ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ { ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ , ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ , ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ ${\$ 에서 지원된다 ${\textstyle [N]=\left\{1,2,\dots ,N\right\}}$ 수학 구조는 확률 이론 측면에서 이등형이며 따라서 정보 이론에서도 역시 이등형이다.

결과 $X=x$ = $X=x$ $X=x$ 에 대한 정보가 제공됨 $X=x$

\operatorname {I} _{X}(x)=-\log _{2}{p_{X}(x)}.

이러한 예에서, 부가성에 의해 분포가 알려진 독립형 DRV 집합의 정보를 계산할 수 있다.

엔트로피와의 관계

엔트로피는 이산 랜덤 변수의 정보 내용물의 기대값이며, 엔트로피가 필요로 하는 이산값보다 더 큰 기대를 갖는다. Sometimes, the entropy itself is called the "self-information" of the random variable, possibly because the entropy satisfies $\mathrm {H} (X)=\operatorname {I} (X;X)$ , where $\operatorname {I} (X;X)$ is the mutual information of $X$ with i3자신의^[7]

연속 랜덤 변수의 경우 해당 개념은 차분 엔트로피입니다.

파생

정의에 따르면, 정보는 수신자가 선험적으로 정보를 알지 못했을 때에만 정보를 소유하는 발신기업에서 수신기업으로 이전된다. 만약 수신주체가 메시지를 받기 전에 메시지의 내용을 확실히 알고 있었다면, 수신한 메시지의 정보량은 0이다. 수신자가 메시지의 내용에 대한 사전 지식이 100% 확실하지 않을 때에만 메시지는 실제로 정보를 전달한다.

예를 들어 개그맨 조지 칼린의 캐릭터(하이피 디피 웨더맨)를 인용, "오늘 밤의 일기예보: 어둡다. 밤새도록 계속 어두워지고, 아침까지 광선이 넓게 흩날리고."^[8] 지구 극지방이나 극지방 근처에 살지 않는다고 가정할 때, 그 예보에 전달되는 정보의 양은 0이다. 왜냐하면 예보를 받기 전에, 어둠은 항상 밤과 함께 온다는 것을 미리 알고 있기 때문이다.

$따라서$ $\omega _{n}$ 의 발생을 알리는 내용을 전달하는 메시지에 포함된 자기 정보의 양은 해당 사건의 확률에 따라서만 $\omega _{n}$

\operatorname {I}(\omega _{n})=f(\operatorname {P}(\omega _{n})

일부 함수

f(\cdot )

f(\cdot )

)

f(\cdot )

은(는) 아래에서 결정된다

f(\cdot )

. If

\operatorname {P} (\omega _{n})=1

, then

\operatorname {I} (\omega _{n})=0

. If

\operatorname {P} (\omega _{n})<1

, then

\operatorname {I} (\omega _{n})>0

.

또한, 정의상 자기 정보의 척도는 부정적이고 부가적이다. 이벤트 $C$ $C$ 을(를) 알리는 메시지가 $두$ 개의 독립 이벤트 A $A$ $및$ B $A$ $C$ 의 교차점인 $C$ 경우 $C$ , $이벤트$ C{\ $displaystyle C}$ 의 정보는 두 독립 $이벤트$ A{\ $displaystyle A}$ 및 $A$ $B$ ${\displaystystystystystystystystystystystytem$ 의 복합 메시지인 것이다 $B$ $B}$ 발생 $B$ . 복합 메시지 $C$ $C$ 의 정보 양은 개별 $B$ 구성 요소 메시지 $A$ $A$ 및 $B$ $B$ 의 정보 양 합계와 같을 것으로 예상된다 $C$ .

\operatorname {I}(C)=\operatorname {I}(A\cap B)=\operatorname {I}(A)+\operatorname {I}(B).

이벤트 $A$ $A$ 및 $A$ $B$ $B$ 의 독립성 때문에 $B$ $이벤트$ C $C$ 의 $C$ 확률은

\operatorname {P}(C)=\operatorname {P}(A\cap B)=\operatorname {P}(A)\cdot \operatorname {P}(B).

그러나 함수 $f(\cdot )$ $f(\cdot )$ ) ${\displaystyle$ f $(\cdot )}$ 를 $f(\cdot )$ 적용하면

{\begin}\operatorname {I}(C)&=\operatorname {I}+\operatorname {I}(B)\f(\operatorname {P}(C)&=f(\operatorname {P}(A)+f(\operatorname {P)+f(B)\\&=f{\big(}\operatorname {P}(A)\cdot \operatorname {P}(B){big )}\\end{aigned}}}}}}}

Cauchy의 함수 방정식에 대한 작업 덕분에, $f(\cdot )$ 하게 monotone 함수 f ( $f(\cdot )$ ) $f(\cdot )$ 이(가) 다음과 같은 속성을 가지고 $f(\cdot )$ 있다.

f(x\cdot y)=f(x)+f(y)

logarithm 함수

\log _{b}(x)

\log _{b}(x)

(

\log _{b}(x)

) {\

displaystyle \log _

{b}(

x)}

입니다

\log _{b}(x)

서로 다른 기준의 로그 사이의 유일한 작동 차이점은 서로 다른 스케일링 상수의 로그뿐이므로, 우리는 다음과 같이 가정할 수 있다.

f(x)=K\log(x)

여기서 $\log$ $\log$ 은 $\log$ (는) 자연 로그임. 사건의 확률은 항상 0과 1 사이에 있고 이러한 사건과 관련된 정보는 음수가 아니어야 하기 때문에 $K<0$ < $K<0$ $K<0$ 을(를) 요구한다 $K<0$

이러한 속성을 고려하여 확률 $\operatorname {P} (\omega _{n})$ $\omega _{n}$ $\operatorname {P} (\omega _{n})$ n $\operatorname {I} (\omega _{n})$ 을 $\operatorname {P} (\omega _{n})$ 가진 $\omega _{n}$ $결과$ Ω $\omega _{n}$ ${\$ $\operatorname {I}(\$ $omega$ _{n $})$ 과 연관된 $\operatorname {I} (\omega _{n})$ 자가 $\operatorname {I} (\omega _{n})$ I $\operatorname {I} (\omega _{n})$ $displaystyle \omega_{$ $n$ })는 다음과 같이 정의된다 $\operatorname P(\omega_n)$ $.$

\operatorname {I}(\omega _{n})=-\log(\operatorname {P})(\omega _{n})=\log \left({\frac {1}{\operatorname {P})(\omega _{n}}}}\오른쪽)

사건 발생 확률은 $\omega _{n}$ {\ $displaystyle \omega_{n}$ 보다 작을수록 사건이 실제로 일어났다는 메시지와 관련된 자기 정보의 양은 더 크다 $\omega _{n}$ 위의 로그가 base 2인 경우, $I(\omega _{n})$ $I(\omega _{n})$ ) ${\displaystyle$ I $(\omega _{n}})$ 의 단위는 비트다 $I(\omega _{n})$ . 이것이 가장 일반적인 관행이다. base $e$ $e$ 의 자연 로그를 사용할 경우 단위가 nat이 된다 $e$ 기본 10 로그의 경우 정보의 단위는 하틀리(hartley)이다.

즉, 동전 던지기 4회 연속 4헤드(또는 특정 결과)의 결과와 관련된 정보 콘텐츠는 4비트(확률 1/16)가 되고, 지정된 정보 이외의 결과를 얻는 것과 관련된 정보 콘텐츠는 ~0.09비트(확률 15/16)가 된다. 자세한 예는 위의 내용을 참조하십시오.

참고 항목

참조

^ Jones, D.S., 초등 정보 이론, Vol, Clarendon Press, Oxford pp 11-15
^ ^a ^b ^c ^d McMahon, David M. (2008). Quantum Computing Explained. Hoboken, NJ: Wiley-Interscience. ISBN 9780470181386. OCLC 608622533.
^ Borda, Monica (2011). Fundamentals in Information Theory and Coding. Springer. ISBN 978-3-642-20346-6.
^ Han, Te Sun & Kobayashi, Kingo (2002). Mathematics of Information and Coding. American Mathematical Society. ISBN 978-0-8218-4256-0.{{cite book}}: CS1 maint: 작성자 매개변수 사용(링크)
^ R. B. 번스타인과 R. D. 레빈(1972) "엔트로피와 화학 변화. I. 반응성 분자 충돌 시 제품(및 반응성) 에너지 분포 특성: "정보와 엔트로피 결핍," 화학물리학 저널 57, 434-449 링크.
^ 마이런 트리부스(1961) 열역학 및 온도조절기: 에너지, 정보 및 물질 상태에 대한 소개(엔지니어링 애플리케이션) 반 노스트랜드, 뉴욕 웨스트40가 24번지, 뉴욕 18번지, 뉴욕 18번지) 트리부스, 마이런(1961년), 페이지 64-66을 빌린다.
^ 토마스 M. 커버, 조이 A. 토마스; 정보 이론의 요소; 페이지 20; 1991.
^ "A quote by George Carlin". www.goodreads.com. Retrieved 2021-04-01.

추가 읽기

C.E. Shannon, A Mathematical Struction of Communication, Bell Systems Technical Journal, Vol. 27페이지 379–423, (Part I), 1948.

외부 링크

[1] Jones, D.S., 초등 정보 이론, Vol, Clarendon Press, Oxford pp 11-15

[:0-2] McMahon, David M. (2008). Quantum Computing Explained. Hoboken, NJ: Wiley-Interscience. ISBN 9780470181386. OCLC 608622533.

[3] Borda, Monica (2011). Fundamentals in Information Theory and Coding. Springer. ISBN 978-3-642-20346-6.

[4] Han, Te Sun & Kobayashi, Kingo (2002). Mathematics of Information and Coding. American Mathematical Society. ISBN 978-0-8218-4256-0.{{cite book}}: CS1 maint: 작성자 매개변수 사용(링크)

[Bernstein1972-5] R. B. 번스타인과 R. D. 레빈(1972) "엔트로피와 화학 변화. I. 반응성 분자 충돌 시 제품(및 반응성) 에너지 분포 특성: "정보와 엔트로피 결핍," 화학물리학 저널 57, 434-449 링크.

[Tribus1961-6] 마이런 트리부스(1961) 열역학 및 온도조절기: 에너지, 정보 및 물질 상태에 대한 소개(엔지니어링 애플리케이션) 반 노스트랜드, 뉴욕 웨스트40가 24번지, 뉴욕 18번지, 뉴욕 18번지) 트리부스, 마이런(1961년), 페이지 64-66을 빌린다.

[7] 토마스 M. 커버, 조이 A. 토마스; 정보 이론의 요소; 페이지 20; 1991.

[8] "A quote by George Carlin". www.goodreads.com. Retrieved 2021-04-01.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

Search