확률 및 정보 이론에서의 정보 측정
상관 변수 X와 Y와 관련된 다양한 정보 측정값 간의 가법 및 감산 관계를 보여주는 잘못된[1] 도표 . 양쪽 원이 포함하는 영역은 관절 엔트로피 H(X,Y)이다. 왼쪽의 원(빨간색 및 보라색)은 개별 엔트로피 H(X)이고, 빨간색은 조건 엔트로피 H(X Y)이다. 오른쪽의 원(파란색과 보라색)은 H(Y)이고, 파란색은 H(Y X)이다. 보라색은 상호 정보 I(X;Y)이다. 정보 이론 에서, 공동 엔트로피 변수 집합과 관련된 불확실성의 척도다.[2] null
정의 이미지 X {\ displaystyle {X} Y {\ displaystyle Y} 변수 X {\displaystyle x} Y {\ displaystyle mathcal {Y} Shannon 엔트로피 (비트 )는 다음과[3] : 16
H ( X , Y ) = − ∑ x ∈ X ∑ y ∈ Y P ( x , y ) 통나무를 하다 2 [ P ( x , y ) ] {\displaystyle \mathrm {H}(X,Y)=-\sum _{x\in {\mathcal{X}}\sum _{y\}P(x,y)\log _{2}[P(x,y)]}} (Eq.1 )
where x {\displaystyle x} y {\displaystyle y} X {\displaystyle X} Y {\displaystyle Y} P ( x , y ) {\displaystyle P(x,y)} joint probability of these values occurring together, and P ( x , y ) log 2 [ P ( x , y ) ] {\displaystyle P(x,y)\log _{2} [P(x,y)]} P( x 0 {\displaystyle P(x,y)=0} .
두 개 이상의 랜덤 변수 X 1 X n {\ displaystyle X_{1 ...,X_{n}}
H ( X 1 , . . . , X n ) = − ∑ x 1 ∈ X 1 . . . ∑ x n ∈ X n P ( x 1 , . . . , x n ) 통나무를 하다 2 [ P ( x 1 , . . . , x n ) ] {\displaystyle \mathrm {H}(X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal{X}_{1}:{1}... \sum _{x_{n}\in {\mathcal {X}_{n}_{n}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n}}]}} (Eq.2 )
where x 1 , . . . , x n {\displaystyle x_{1},...,x_{n}} X 1 , . . . , X n {\displaystyle X_{1},...,X_{n}} P ( x 1 , . . . , x n ) {\displaystyle P(x_{1},...,x_{n})} P ( x 1 , . . . , x n ) l og 2 [ P ( x 1 , . . . , x n ) ] {\displaystyle P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]} P ( x 1 , . . . , x n ) = 0 {\displaystyle P(x_{1},...,x_{n})=0}
특성. 비네거티 랜덤 변수 집합의 관절 엔트로피는 음수가 아닌 수이다. null
H ( X , Y ) ≥ 0 {\displaystyle \mathrm {H}(X,Y)\geq 0} H ( X 1 , … , X n ) ≥ 0 {\displaystyle \mathrm {H}(X_{1},\ldots ,X_{n}\geq 0}) 개별 엔트로피보다 큼 변수 집합의 공동 엔트로피는 집합에 있는 변수의 모든 개별 엔트로피 최대값보다 크거나 같다. null
H ( X , Y ) ≥ 맥스. [ H ( X ) , H ( Y ) ] {\displaystyle \mathrm {H}(X,Y)\geq \max \left[\mathrm {H}(X),\mathrm {H}(Y)\right]}} H ( X 1 , … , X n ) ≥ 맥스. 1 ≤ i ≤ n { H ( X i ) } {\displaystyle \mathrm {H} {\bigl (}X_{1},\ldots,X_{n}{\bigr )}\geq \max _{1\leq i\leq n}{\Bigl \}\bigl \}{X_{i}}{bigr \}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}}} 개별 엔트로피 합보다 작거나 같음 변수 집합의 공동 엔트로피는 집합에 있는 변수의 개별 엔트로피의 합보다 작거나 같다. 이것은 부양 의 예다. 이 {\displaystyle X} Y {\displaystyle Y} 통계적으로 독립 된 경우에만[3] : 30 null
H ( X , Y ) ≤ H ( X ) + H ( Y ) {\displaystyle \mathrm {H}(X,Y)\leq \mathrm {H}(X)+\mathrm {H}(Y)} H ( X 1 , … , X n ) ≤ H ( X 1 ) + … + H ( X n ) {\displaystyle \mathrm {H}(X_{1},\ldots ,X_{n})\leq \mathrm {H}(X_{1})+\ldots +\mathrm {H}(X_{n})} 기타 엔트로피 대책과의 관계 관절 엔트로피는 조건부 엔트로피 의[3] : 22
H X Y H Y Y {\ displaystyle \mathrmat {H}(X Y)=\mathrmat {H}(X,Y)-\mathrmat }(Y 그리고
H ( X 1 , … , X n ) = ∑ k = 1 n H ( X k X k − 1 , … , X 1 ) {\displaystyle \mathrm {H}(X_{1},\dots,X_{n})=\sum _{k=1}^{n}\mathrm {H}(X_{k}X_{k-1},\dots,X_{1}) 상호 정보 의[3] : 21
I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) {\displaystyle \operatorname {I}(X;Y)=\mathrm {H}(X)+\mathrm {H}(Y)-\mathrm {H}(X,Y)\,},} 양자정보이론 에서 공동 엔트로피는 공동 양자 엔트로피 로 일반화된다.null
조인트 디퍼렌셜 엔트로피 정의 위의 정의는 이산 랜덤 변수에 대한 것이며 연속 랜덤 변수의 경우에도 유효하다. 이산형 조인트 엔트로피의 연속 버전을 조인트 미분(또는 연속형) 엔트로피 라고 한다. X {\displaystyle } 및 {\displaystyle Y} ) 조인트 확률밀도함수 f( x y ) displaystyle ( x,y)} . h( X,Y)는 [3] : 249 정의
h ( X , Y ) = − ∫ X , Y f ( x , y ) 통나무를 하다 f ( x , y ) d x d y {\displaystyle h(X,Y)=-\int _{\mathcal{X},{\mathcal {Y}f(x,y)\log f(x,y)\,dxdy} (Eq.3 )
세 개 이상의 연속 랜덤 변수 X 1 X {\ displaystyle X_{1 ...,X_{n}}
h ( X 1 , … , X n ) = − ∫ f ( x 1 , … , x n ) 통나무를 하다 f ( x 1 , … , x n ) d x 1 … d x n {\displaystyle h(X_{1},\ldots,X_{n}}=-\int f(x_{1},\ldots,x_{n})\log f(x_{1},dots,x_{n},dx_{1},dots dx_{n},n}}. (Eq.4 )
적분 은 f {\displaystyle f} . null
특성. 이산형 사례에서와 같이 랜덤 변수 집합의 조인트 미분 엔트로피는 개별 랜덤 변수의 엔트로피 합보다 작거나 같다.
h ( X 1 , X 2 , … , X n ) ≤ ∑ i = 1 n h ( X i ) {\displaystyle h(X_{1},X_{2},\ldots,X_{n}}\leq \sum _{i=1}^{n}h(X_{i})} [3] : 253 다음 체인 규칙은 두 개의 랜덤 변수에 대해 유지된다.
h ( X , Y ) = h ( X Y ) + h ( Y ) {\displaystyle h(X,Y)=h(X Y)+h(Y)} 세 개 이상의 랜덤 변수의 경우 이는 다음과 같이 일반화된다.[3] : 253
h ( X 1 , X 2 , … , X n ) = ∑ i = 1 n h ( X i X 1 , X 2 , … , X i − 1 ) {\displaystyle h(X_{1},X_{2},\ldots,X_{n}}=\sum _{i}^{nh(X_{i}X_{1},X_{2},\ldots ,X_{i-1}}}} 또한 연속 랜덤 변수 간의 상호 정보 의 정의에는 공동 미분 엔트로피가 사용된다.
I ( X , Y ) = h ( X ) + h ( Y ) − h ( X , Y ) {\displaystyle \operatorname {I}(X,Y)=h(X)+h(Y)-h(X,Y)} 참조 ^ D.J.C. Mackay (2003). Information theory, inferences, and learning algorithms . Bibcode :2003itil.book.....M . : 141 ^ Theresa M. Korn ; Korn, Granino Arthur (January 2000). Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review . New York: Dover Publications. ISBN 0-486-41147-8 ^ a b c d e f g Thomas M. Cover; Joy A. Thomas (18 July 2006). Elements of Information Theory . Hoboken, New Jersey: Wiley. ISBN 0-471-24195-4 
![{\displaystyle \mathrm {H} (X,Y)=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}P(x,y)\log _{2}[P(x,y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1c1b92b469840ecac93f75eff9beef3d03d6bbc1)
![P(x,y)\log _{2}[P(x,y)]](https://wikimedia.org/api/rest_v1/media/math/render/svg/33023e90bccb1921379d4b2368ce7c89ee728254)
(가) 확장됨![{\displaystyle \mathrm {H} (X_{1},...,X_{n})=-\sum _{x_{1}\in {\mathcal {X}}_{1}}...\sum _{x_{n}\in {\mathcal {X}}_{n}}P(x_{1},...,x_{n})\log _{2}[P(x_{1},...,x_{n})]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/453bf0f18adcd1b4160557f8e3be47f6202abd1d)
![P(x_{1},...,x_{n}}\log _{2}[P(x_{1},...,x_{n})]](https://wikimedia.org/api/rest_v1/media/math/render/svg/45d2b2bd535cc3d9c9e463415a4a81bf4eb6194c)
![{\displaystyle \mathrm {H} (X,Y)\geq \max \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d8ef6202e31c5bf393a72c24d9972de4e24560f9)
