등방 벡터

내향성 벡터 또는 내향성 함수는 정보 이론에서 발생하는 개념이다.그것은 하나의 무작위 변수 집합의 하위 집합이 취할 수 있는 섀넌 정보 엔트로피의 가능한 값을 나타낸다.어떤 벡터가 내향성인지 이해하는 것은 다양한 하위 집합의 엔트로피 사이의 가능한 모든 불평등을 나타내는 방법이다.For example, for any two random variables ${\displaystyle X_{1},X_{2}}$, their joint entropy (the entropy of the random variable representing the pair ${\displaystyle X_{1},X_{2}}$) is at most the sum of the entropies of ${\displaystyle X_{1}}$ and of ${\displaystyle X_{2}}$$$:

${\displaystyle H(X_{1},X_{2})\leq H(X_{1}+H(X_{2})}$

조건부 정보, 상호 정보 또는 총 상관관계와 같은 기타 정보-이론적 척도는 공동 엔트로피의 관점에서 표현될 수 있으며 따라서 해당 불평등에 의해 관련된다.내향성 벡터에 의해 충족되는 많은 불평등은 섀넌형 불평등이라고 불리는 몇 가지 기본적인 불평등의 선형 결합으로 도출될 수 있다.그러나 $이미{\displaystyle }$ n${\displaystyle }$= ${\displaystyle 4}$ ${\displaystyle n=4}$ 변수에$$ 대해 모든 수반성 벡터를 특성화하기에 충분한 유한한 선형 불평등 집합은 없다는 것이 입증되었다.

정의

Shannon's information entropy of a random variable ${\displaystyle X}$ is denoted ${\displaystyle H(X)}$. For a tuple of random variables ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$, we denote the joint entropy of a subset ${\displayst$$yle X_{i_{1}},X_{i_{2}},\dots ,X_{i_{k}}}$ as ${\displaystyle H(X_{i_{1}},X_{i_{2}},\dots ,X_{i_{k}})}$, or more concisely as ${\displaystyle H(X_{I})}$, where ${\displaystyle I=\{i_{1},i_{2},\dots ,i_{k}\}}$. Here ${\displaystyle {}_{}}$${\$$I}}$ can be understood as the random variable representing the tuple ${\displaystyle (X_{i_{1}},X_{i_{2}},\dots ,X_{i_{k}})}$. For the empty subset ${\displaystyle I=\emptyset }$, ${\displaystyle X_{$$I}$은 엔트로피 0으로 결정론적 변수를 나타낸다.

A vector h in ${\displaystyle \mathbb {R} ^{2^{n}}}$ indexed by subsets of ${\displaystyle \{1,2,\dots ,n\}}$ is called an entropic vector of order ${\displaystyle n}$ if there exists a tuple of random variables ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$ such $that{\displaystyle }$ (${\displaystyle I}$)${\displaystyle }$= ${\displaystyle H}$( X ${\displaystyle I_{}}$) ${\displaystyle h(I)=H(X_{$$각$ 부분 집합 $I{\displaystyle }$ ${\displaystyle \subseteq \{}$ ${\displaystyle 1}$,${\displaystyle }$2,${\displaystyle \dots ,}$ ${\displaystyle n}$ ${\displaystyle \}}$ ${\displaystyle I\subseteq \{1,2,\dots,n$에 대한$$ I$}}.$

주문 n{n\displaystyle}의 모든 엔트로피의 벡터의 집합Γ n∗{\displaystyle \Gamma_{n}^{*}에 의해}. 장과 Yeung[1]이 있지 않았어(엔 ≥ 3{\displaystyle n\geq 3}),지만은 폐쇄,Γ n∗ ¯{\displaystyle{\bar{\Gamma_{n}^{*}}}}, 볼록 콘 그리고 charact을 증명 표시됩니다.eri그것이 만족하는 (무한히 많은) 선형 불평등에 의해 zered.따라서 지역 $∗{\$을(를) 설명하는$$ 것은 공동 엔트로피에 발생할 수 있는 모든 불평등을 특징짓는 것과 같다.

예

X,Y를 세트${\displaystyle }${${\displaystyle 0}$, ${\displaystyle 1}$ ${\displaystyle \}}$ ${\displaystyle \{0,1\}$에 걸쳐 이산 균일한 분포를 갖는 두 개의 독립 랜덤 변수가 되도록 두십시오$.$ 그런 다음

${\displaystyle H(X)=H(Y)=1}$

(각각은 2개 세트에 걸쳐 균일하게 분포되어 있으므로)

${\displaystyle H(X,Y)=H(X)+H(Y)=2}$

(두 변수가 독립적이므로, $이$는 쌍$({\displaystyle }$${\displaystyle \mathrm{X}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}}$X ${\displaystyle {2\mathrm{}}_{}}$) ${\displaystyle (X_$${$$1}, X_$${2$$})$을 의미하며, 0, 0$1$,${\displaystyle 1}$,${\displaystyle 1}$,$1$에 걸쳐 균일하게 분포한다$.$따라서 해당 엔티티 벡터는 다음과 같다.

${\displaystyle v=(0,1,1,2)^{\mathsf{T}\in \감마_{2}^{*}}}$

On the other hand, the vector ${\displaystyle (0,1,1,3)^{\mathsf {T}}}$ is not entropic (that is, ${\displaystyle (0,1,1,3)^{\mathsf {T}}\not \in \Gamma _{2}^{*}}$), because any pair of random variables (independent or not) should satisfy ${\displaystyle H(X,Y)\le H(X)+H(Y}$${\displaystyle )}$ ${\displaystyle H(X,Y)\leq H(X)+H(Y$

특성화 집적 벡터: 지역 γ_n^*

섀넌형 불평등과 Ⅱ_n

랜덤 변수 $X{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{X\mathrm{}}_{}}$ 2${\displaystyle {}_{}\dots ,X_{}}$ n ${\$의 튜플의 경우 엔트로피는 다음을 충족한다$.$

${\displaystyle 1)\quad H(X_{\emptyset }=0}$

${\displaystyle 2)\quad H(X_{I})\leq H(X_{J})}$, for any ${\displaystyle I\subseteq J\subseteq \{1,\dots ,n\}}$

특히, $H{\displaystyle }$( ${\displaystyle X_{}}$I )${\displaystyle 0}$ 0$${\$displaystyle$H($X_{I}}\geq$ 0$\}$은(는) 모든 I ${\displaystyle \subseteq }${ 1 ,${\displaystyle \dots ,}$n } {\$displaystyle$I$\subseteq$\{1$,\dots,n\}}$에 대해$.$

섀넌 불평등에서는 등방성 벡터가 하위모델이라고 말한다.

${\displaystyle 3)\quad$$I\cup J}+H(X_{$$I\cap J$ 모든 I${\displaystyle ,}$ ${\displaystyle J}$ ${\displaystyle \subseteq }${ ${\displaystyle 1}$, ${\displaystyle \dots ,n}$ ${\displaystyle \}}$ ${\displaystyle I, J\subseteq \{1,\dots,n\}}$에 대해.

이는 조건부 상호 정보가 음성이 아니라고 명시하는 불평등에 해당한다.

${\displaystyle {\reasoned}I(X;Y\mid Z)&=H(X\mid Z)-H(X\mid Y,Z)\\&=H(X\mid Z)+H(Y\mid Z)-H(X,Y\mid Z)\\&=H(X,Z)+H(Y,Z)-H(X,Y,Z)-H(Z)\\&\geq 0\end{aligned}}}$

(For one direction, observe this the last form expresses Shannon's inequality for subsets ${\displaystyle X,Z}$ and ${\displaystyle Y,Z}$ of the tuple ${\displaystyle X,Y,Z}$; for the other direction, substitute ${\displaystyle X=X_{$${\displaystyle I_{}}$$\},$ $Y{\displaystyle }$= ${\displaystyle {}_{}}$ ${\displaystyle J_{}}$ ${\$ $Z{\displaystyle }$= X ${\displaystyle I_{}}$ ${\displaystyle {\cap }_{}}$ J ${\$$I\cap J}$ ).$$

많은 불평등은 Shannon 불평등의 선형 결합으로 도출될 수 있다; 그것들은 Shannon형 불평등 또는 Shannon의 정보 조치의 기본적인 정보 불평등이라고 불린다.^[2]이들을 만족시키는 벡터 세트를 ${\displaystyle {\gamma n}_{}}$ ${\$$n$}}라고 하는데$,$ ${\displaystyle {\gamma n}_{}^{}}$ ${\displaystyle {}_{}^{}}$ ${\$ _${$n}^{*}}}}가 포함되어 있다$.$

섀넌형 불평등 입증 과제를 자동화하는 소프트웨어가 개발됐다.^[3][4]불평등이 주어진다면, 그러한 소프트웨어는 주어진 불평등이 유효한 섀넌형 불평등인지(즉, 원뿔 ${\displaystyle {nn}_{}}$ ${\$ 판단할 수 있다.$$

비 섀넌형 불평등

섀넌형 불평등만이 유일한 ${\displaystyle {것}_{}^{}}$인가$,$ 즉 $그들$이 그 지역을 완전히 특성화하는 $것인가$에 대한 질문은 1981년^[2] 테수한으로부터 처음$, 1986년$ 니콜라스 피펜거가 더 $정확$하게 물었다$.$^[5]이 두 변수에 대한 진정한 것을 보여 줄 것이다Γ 2∗)Γ 2{\displaystyle \Gamma_{2}^{*}=\Gamma _{2}}. 3변수 들어, 장과 Yeung[1]이 Γ 3∗ ≠ Γ 3{\displaystyle \Gamma_{3}^{*}\neq \Gamma _{3}}증명하지만, 아직도 점차적으로 진정한 경우 폐쇄 같다는 것을 의미하며 어렵지 않다.:Γ 3∗ ¯)Γ 3{\displaystyle{\overline{\Gamma_{3}^{*}}}=\Gamma _{3}}. 1988년, 장과 Yeung[2][6]다는 것을 보여 줘Γ n∗ ¯≠Γ n{\displaystyle{\overline{\Gamma_{n}^{*}}}\neq \Gamma _{n}}에 대한 모든 n≥ 4{\displaystyle n\geq 4}에 의해다는 것을 입증하는 다음 불평등에 대한 4개의 확률 변수(에 착륙.조건부 상호 정보의 ms)는 모든 등방성 벡터에 대해 참이지만 섀넌 타입은 아니다.

${\displaystyle 2I(X_{3},X_{4})\leq I(X_{1},X_{2}+I(X_{1}:X_{3},X_{4}}+3I(X_{3}:X_{4} X_{1}}+I(X_{3}:X_{4} X_{2})}$

더 많은 불평등과 무한 불평등 가정이 발견되었다.^{[7][8][9][10]}These inequalities provide outer bounds for ${\displaystyle {\overline {\Gamma _{n}^{*}}}}$ better than the Shannon-type bound ${\displaystyle \Gamma _{n}}$. In 2007, Matus proved that no finite set of linear inequalities is sufficient (to deduce all as linear combinations), for ${\displaystyle n\ge$$q 4}$개의$$ 변수.즉, $지역{\displaystyle \stackrel{}{{\mathrm{}}_{}^{}}}$ ∗ $∗{\$은 다면체가 아니다$$.^[11]그것들이 어떤 다른 방식으로 특징지어질 수 있는지 여부(벡터가 내향성인지 여부를 효과적으로 결정할 수 있도록 허용)는 여전히 열린 문제로 남아 있다.

양자정보 이론에서 폰 노이만 엔트로피에 대한 유사한 질문이 고려되었다.^[12]

이너 한계

${$n}{*}}}}{\$displaystyle {\overline {\Gamma _{n$}^}}}}}}의 일부 내부 경계도 알려져$$ 있다.$\gamma {\displaystyle \stackrel{}{{\mathrm{}}_{}^{}}}$ $∗{\$ {\$Displaystyle$ ${\$$Gamma _{4}^{*}}}}}$의 모든 벡터가 포함되어$$$$ 엔트로피에 대한 잉글턴의 불평등이라고 알려진 다음과 같은 불평등(및 변수를 허용하여 얻은 것)을 추가로 만족시키는 것이 한 예다.^[13]

${\displaystyle I(X_{1};X_{2})+I(X_{3};X_{4}\mid X_{1}+I(X_{3};X_{4}\mid X_{2})-I(X_{3};X_{4}\geq 0}$^[2]

엔트로피 및 그룹

그룹 특성화 벡터 및 준균일 분포

$G{\displaystyle }$ ${\displaystyle G}$ 그룹 $G{\displaystyle }$ {\$displaystyle$ G}과$$(와) 하위 그룹 $G{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}}$G ${\displaystyle {2\mathrm{}}_{}}$,${\displaystyle }$…${\displaystyle {}_{}}$ ${\displaystyle n_{}}${$1}, G_{2},\dots, G_{n}$을(를) 고려하십시오$.$ G ${\displaystyle I_{}}$ ${\$displaystytle $G_{$n}. $Let{\displaystyle {}_{}}$ G I {\$displaystystystystystystyleane$ G_G_G_G_G}$I}}$ denote ${\displaystyle \bigcap _{i\in I}G_{i}}$ for ${\displaystyle I\subseteq \{1,\dots ,n\}}$; this is also a subgroup of ${\displaystyle G}$. It is possible to construct a probability distribution for ${\displaystyle n}$ random variables ${\display$$스타일$ $X_{1},\dots,X_{n}}$

$displaystyle H(X_{$$I}=\log {\frac { G}{ G_{{$$I}$ $\}\}.$^[14]

(건설은 $기본적$으로 G ${\displaystyle G}$의 요소 $a{\displaystyle }$ ${\displaystyle a}$을(를) 임의로 균일하게$$ 취하며 $X{\displaystyle {}_{}}$ ${\displaystyle i_{}}$ ${\$을(를) ${\displaystyle {해당}_{}}$ $코제트$로 한다$$.$$그러므로 정보이론적 불평등은 집단이론적 불평등을 내포하고 있다.예를 들어, ${\displaystyle \mathrm{기본}}$ ${\displaystyle \mathrm{불평등}}$ H${\displaystyle }$( X${\displaystyle }$,${\displaystyle Y}$ ) ${\displaystyle \le }$ H${\displaystyle }$( X${\displaystyle }$)${\displaystyle }$+ ${\displaystyle H}$( ${\displaystyle Y}$) ${\displaystyle H (X,Y)\leq H (X)+H (Y)}$는 다음을 함축하고$$ 있다.

${\displaystyle G \cdot G_{1}\cap G_{2} \geq G_{1} \cdot G_{2} .}$

그 반대는 본질적으로 사실인 것으로 밝혀졌다.좀 더 정확히 말하면 벡터는 위와 같이 부분군의 튜플에서 얻을 수 있다면 집단특성이 있다고 한다.The set of group-characterizable vectors is denoted ${\displaystyle \Upsilon ^{n}}$. As said above, ${\displaystyle \Upsilon ^{n}\subseteq \Gamma _{n}^{*}}$. On the other hand, ${\displaystyle \Gamma _{n}^{*}}$ (and thus ${\displaystyle {\overline {\Gamma _{n}^{*}}$$\}\})$는 ${\displaystyle {\upsilon n}^{}}$ ${\$의 볼록 폐쇄 위상학적 폐쇄에 포함되어 있다$.$^[15] 즉${\displaystyle ,}$ ${\displaystyle H_{}}$I = ${\displaystyle \frac{로그}{}}$ ${\displaystyle \frac{G}{{}_{}}}$ ${\displaystyle \frac{I_{}{}_{}}{}}${\$displaysty h_{{}$ 형식의 모든$$ $벡터{\displaystyle }$ h ${\displaysty$ h$}$에 대해 고정되어 있는 경우에만 선형 불평등이 모든 이방성 벡터에 대해 유지된다.$I}=\log {\frac { G}{ G_{{$$}$ $\}\}\}$ {\$displaystyle I}$이(가) $그룹{\displaystyle }$ G ${\displaystyle G}$에 있는 하위 $그룹{\displaystyle {}_{}}$ G ${\displaystyle {}_{}}$,${\displaystyle {}_{}{G\mathrm{}}_{}{2\mathrm{}}_{}}$,${\displaystyle }$… ${\displaystyle G_{}}$ n$${$1}, G_{2},\dots, G_{n}$의 일부 튜플의 하위 세트 위로 이동한다$.$

아벨 그룹 출신 그룹별 특징적인 벡터는 잉글턴의 불평등을 만족시킨다.

콜모고로프 복잡성

Kolmogorov 복잡성은 엔트로피와 본질적으로 동일한 불평등을 만족시킨다.즉, 유한 $문자열{\displaystyle }$ x ${\displaystyle x}$의 Kolmogorov 복잡성을 $K{\displaystyle (x}$) ${\displaystyle K(x)}($$즉{\displaystyle }$, x ${\displaystyle$ x$}$을(를) 출력하는 최단 프로그램의 길이)로$$ 나타낸다.$$The joint complexity of two strings ${\displaystyle x,y}$, defined as the complexity of an encoding of the pair ${\displaystyle \langle x,y\rangle }$, can be denoted ${\displaystyle K(x,y)}$. Similarly, the conditional complexity can be denoted ${\displaystyle K(x y)}$ (the length of 주어진$$ $y{\displaystyle }$ ${\displaystyle y}$ $$$x$를 출력하는 가장 짧은 프로그램안드레이 콜모고로프는 이러한 관념이 예를 들어 샤논 엔트로피와 비슷하게 작용한다는 것을 알아차렸다.

${\displaystyle K(a)+K(b)\geq K(a,b)-O(\log a +\log b )}$

2000년에 해머 외 연구진은 Kolmogorov 복잡성 측면에서 상응하는 불평등이 모든 문자열의 튜플에 대해 로그 조건을 유지하는 경우에만 등방성 벡터를 실제로 지탱한다는 것을 증명했다.^[16]

참고 항목

• 정보이론의 불평등

참조

• 토마스 M.커버, 조이 A.토마스.정보 이론의 요소들 뉴욕: Wiley, 1991.ISBN 0-471-06259-6
• 레이먼드 영.정보이론 제1과정 12장 정보불평등, 2002년, ISBN 0-306-46791-7 인쇄