일반 집합

정보 이론에서, 전형적인 집합은 그들의 원천 분포의 엔트로피의 음의 힘으로 상승된 두 개에 가까운 일련의 집합이다.이 집합이 1에 가까운 총 확률을 갖는 것은 많은 수의 법칙의 일종인 점증적 설비 특성(AEP)의 결과물이다.전형성의 개념은 순서의 확률과 관련이 있을 뿐 실제 순서는 아니다.

이것은 데이터를 압축하기 위한 이론적 수단을 제공하고, 평균적으로 nH(X)비트를 사용하여 어떤 시퀀스 X를ⁿ 나타낼 수 있게 해주기 때문에, 압축 이론에 큰 활용을 가지고 있으며, 따라서 출처로부터의 정보의 척도로 엔트로피를 사용하는 것을 정당화한다.

또한 AEP는 많은 종류의 고정된 에고딕 공정에 대해 증명될 수 있으며, 일반적인 세트가 더 일반적인 경우에 정의될 수 있다.

(약하게) 일반적인 순서(약한 전형성, 엔트로피 전형성)

유한한 알파벳₁ X {\ $displaystyle {\mathcal {X}$ 에 걸쳐 정의된 i.i.d 분포 X에서 시퀀스 x, ...를_n 추출한 경우, 일반적인 집합인_ε⁽ⁿ⁾ A $\in {\mathcal {X}}$ X $\in {\mathcal {X}}$ {\ $displaystyle \in$ {\ $mathcal$ { $X}$ 을 ${\mathcal {X}}$ 를)는 다음을 충족하는 시퀀스로 정의된다 $\in {\mathcal {X}}$ ⁽ⁿ⁾.

2^{-n(X)+\varepsilon )}\leqslant p(x_{1},x_{2},\dots,x_{n}}\leqslant 2^{-n(X)-\varepsilon )}}

, where

H(X)=-\sum _{y\in {\mathcal {X}p(y)\log _{2}p(y)

X의 정보 엔트로피다.위의 확률은 단지 2의^{n ε} 요인 안에 있을 필요가 있다.모든 측면에서 로그를 취하여 -n으로 나누면 이 정의는 다음과 같이 동등하게 명시될 수 있다.

H(X)-\varepsilon \leq -{\frac {1}{n}\log_{2}p(x_{1},\ldots,x_{n})\leq H(X)+\varepsilon .

I.I.D 시퀀스에 대해서는, 그 이후부터.

p(x_{1},x_{2},\ldots,x_{n}=\prod _{i=1}^{n1}p(x_{i}),

우리는 더 많이 가지고 있다.

H(X)-\varepsilon \leq -{\frac {1}{n}\sum _{i=1}^{n}\log _{2}p(x_{i})\leq H(X)+\varepsilon .

대수의 법칙에 의해, 충분히 큰 n을 위하여.

-{\frac {1}{n}\sum _{i=1}^{n}\log _{2}p(x_{i})\오른쪽 화살표 H(X).

특성.

일반적인 집합의 기본 특성은 분포 X에서 많은 n개의 독립 랜덤 표본을 추출하는 경우, 일반적인 집합이 가능한 모든 시퀀스 중 극히 일부만 구성하더라도 결과 시퀀스₁(x₂, x, ..., x)가_n 일반적인 집합의 구성원이 될 가능성이 매우 높다는 것이다.형식적으로 $\varepsilon >0$ > $\varepsilon >0$ $\var렙실론 >0$ 을 $\varepsilon >0$ 를) 지정하면 다음과 같은 n을 선택할 수 있다.

X에서⁽ⁿ⁾ 추출한 시퀀스가_ε⁽ⁿ⁾ A에서 추출될 확률은 1 - $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ , 즉 P $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ [ $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ ( $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ ) $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ - $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ ≥ 1 - $Pr[x^{(n)}\in A_{\epsilon }^{(n)}]\geq 1-\varepsilon$ ${\displaystyle Pr[x^{(n)}\in A_{\epsilon }^{{}}}}\gq 1-\varepsilon$ }}}}}}}}}}.
$\{A_{\varepsilon }^{(n)}\오른쪽 \leqslant 2^{n(H(X)+\varepsilon )}}}$
$\{A_{\varepsilon }}^{(n)}\오른쪽 \geqslant(1-\barepsilon )2^{n(H(X)-\varepsilon )}}}}}}}}$
${\mathcal {X}}$ ${\$ 에 대한 분포가 균일하지 않으면 ${\mathcal {X}}$ 일반적인 시퀀스의 일부는

{\frac { A_{\epsilon }^{(n)} }{ {\mathcal {X}}^{(n)} }}\equiv {\frac {2^{nH(X)}}{2^{n\log _{2} {\mathcal {X}} }}}=2^{-n(\log _{2} {\mathcal {X}} -H(X))}\rightarrow 0

n이 매우 커짐에 따라,

H(X)<\log _{2}|{\mathcal {X}}|,

(

H(X)<\log _{2}|{\mathcal {X}}|,

)

H(X)<\log _{2}|{\mathcal {X}}|,

<

H(X)<\log _{2}|{\mathcal {X}}|,

H(X)<\log _{2}|{\mathcal {X}}|,

X ,

H(X)<\log _{2}|{\mathcal {X}}|,

{\

displaystyle

H

(X)<\log_{2

} {\}

{\mathcal

{X

}}}}}

이

H(X)<\log _{2}|{\mathcal {X}}|,

(

)

X {\

displaystyle

{\

mathcal {X}

의 카디널리티인

|\mathcal{X}|

경우

{\mathcal {X}}

AEP가 있는 일반 확률적 공정 {X(t)}의 경우, (취약하게) 일반적인 세트는 p(x₁₀^τ, x, ..., x)로 대체되는 p(x, x₂, ..., x)와_n 유사하게 정의될 수 있다(즉, 표본이 시간 간격[0, ]]으로 제한된 확률), n은 시간 간격에서 프로세스의 자유도가 되고 H(X)는 엔트로피율이 된다.공정이 연속적으로 값진 경우 차등 엔트로피가 대신 사용된다.

예

역직관적으로, 가장 가능성이 높은 순서는 종종 일반적인 집합의 구성원이 아니다.예를 들어 X가 p(0)=0.1과 p(1)=0.9를 갖는 i.i.d 베르누이 랜덤 변수라고 가정하자.n개의 독립 시험에서, p(1)>p(0) 이후, 가장 가능성이 높은 결과 순서는 모든 1의 순서, (1,1, ...,1)이다.여기서 X의 엔트로피는 H(X)=0.469인 반면

-{\frac {1}{n1}\log _{2}p\왼쪽(x^{n)=(1,1,\ldots,1)\오른쪽)=-{\frac {1}{n}\log _{2}(0.9^{n}=0.mession

따라서 n의 값을 아무리 크게 취하더라도 평균 로그 확률이 임의로 랜덤 변수 X의 엔트로피에 근접할 수 없기 때문에 이 시퀀스는 일반적인 집합에 있지 않다.

베르누이 랜덤 변수의 경우, 전형적 집합은 n개의 독립 시행에서 평균 숫자가 0과 1인 시퀀스로 구성된다.이는 쉽게 입증된다.p(1) = p 및 p(0) = 1-p인 경우 m 1을 사용한 n개의 시행에 대해 다음이 있다.

-{\frac {1}{n}}\log _{2}p(x^{(n)})=-{\frac {1}{n}}\log _{2}p^{m}(1-p)^{n-m}=-{\frac {m}{n}}\log _{2}p-\left({\frac {n-m}{n}}\right)\log _{2}(1-p).

베르누이 재판의 연속에서 평균 1의 수는 m = np이다.그러므로, 우리는

-{\frac {1}{n}\log _{2}p(x^{(n)}=-p\log _{2}p-(1-p)\log _{2}(1-p)=H(X).

이 예에서, n=10일 경우, 일반적인 집합은 전체 시퀀스에서 단일 0을 갖는 모든 시퀀스로 구성된다.p(0)=p(1)=0.5인 경우, 가능한 모든 이진 시퀀스는 일반적인 집합에 속한다.

매우 일반적인 시퀀스(강력한 전형성, 문자 전형성)

시퀀스 x₁, ..., x가_n 유한 문자 또는 무한 문자 ${\mathcal {X}}$ 에 걸쳐 정의된 특정 결합 분포에서 추출된 경우 ${\mathcal {X}}$ 강력하고 일반적인 집합인_ε,strong⁽ⁿ⁾ A $\in {\mathcal {X}}$ X ${\$ {\ $mathcal {X}$ 을(를) 만족하는 시퀀스 집합으로 정의된다 $\in {\mathcal {X}}$ .

\왼쪽 {\frac {N(x_{i})}}{n}-p(x_{i})\오른쪽 <{\frac {\barepsilon }{\\\mathcal {X}\}}}.

여기서 ${N(x_{i})}$ ( ${N(x_{i})}$ ${N(x_{i})}$ ) ${\$ 은 ${N(x_{i})}$ 시퀀스에서 특정 기호가 발생하는 수입니다.

강한 전형적인 시퀀스 또한 약하게 전형적이라는 것을 보여줄 수 있다(다른 상수 ε으로), 따라서 이름이다.그러나 이 두 형태는 동등하지 않다.강한 전형성은 종종 기억력이 없는 채널에 대한 이론들을 증명하는데 있어서 일하기 더 쉽다.그러나 정의에서 명백하게 알 수 있듯이, 이러한 형식의 전형성은 유한한 지지를 갖는 임의 변수에 대해서만 정의된다.

공동 표준 시퀀스

Two sequences $x^{n}$ and $y^{n}$ are jointly ε-typical if the pair $(x^{n},y^{n})$ is ε-typical with respect to the joint distribution ${\displaystyle p(x^{n},y^{n})=\prod _{$ $i=1}^{n^{n}p(x_{i}},$ y_ ${n$ }}) 및 $x^{n}$ $x^{n}$ ${\$ x $^{n}}$ $p(y^{n})$ $y^{n}$ ${\displaystyle$ $y^{n}}$ 은 $y^n$ ( $p(x^{n})$ ) $p(x^{n})$ $displaystystyle$ $p(x$ ^{n $})$ 및 p $p(x^{n})$ $($ 그러한 모든 시퀀스 쌍 $(x^{n},y^{n})$ , y $(x^{n},y^{n})$ ) ${\displaystyle (x^{n$ $A_{\varepsilon }^{n}(X,Y)$ $y^{n}})$ 의 $(x^{n},y^{n})$ 집합은 $A_{\varepsilon }^{n}(X,Y)$ $A_{\varepsilon }^{n}(X,Y)$ ( $A_{\varepsilon }^{n}(X,Y)$ , $A_{\varepsilon }^{n}(X,Y)$ ) $A_{\varipsilon }^{n}(X,Y)}$ 로 표시된다 $A_{\varepsilon }^{n}(X,Y)$ 공동으로 ε-일반 n-tuple 시퀀스 집합이 정의된다.

${\tilde {X}}^{n}$ ${\$ $displaystyle$ ${\tilde {X}^{n}$ 및 Y ${\tilde {X}}^{n}$ ${\tilde {Y}}^{n}$ ${\$ 은 ${\tilde {Y}}^{n}$ $p(y^{n})$ 는 $)$ $p(x^{n})$ 주변 $p(x^{n})$ 가 $p(x^{n})$ $동일$ 한 $임의 변수$ 의 두 $개의$ 독립된 $p(y^{n})$ 가 $p(x^{n})$ $p(y^{n})$ 되도록 $.$ 그 다음 ε>0에 대해, 충분히 큰 n에 대해, 공동으로 전형적인 시퀀스는 다음과 같은 특성을 만족시킨다.

$P\왼쪽[(X^{n},)Y^{n}\in A_{\varepsilon }^{n}(X,Y)\right]\geqslant 1-\epsilon }$
$\왼쪽 A_{\varepsilon }^{n}(X,Y)\오른쪽 \leqslant 2^{n(X,Y)+\epsilon )}}$
$\왼쪽 A_{\varepsilon }^{n}(X,Y)\오른쪽 \geqslant(1-\epsilon )2^{n(H(X,Y)-\epsilon )}}}}}}$
$P\left[({\tilde{X}}^{n},{\tilde {Y}^{n}^{n}(X,Y)\right]\leqslant 2^{n(I(X;Y)-3\epsilon )}}}}}$
${\displaystyle P\왼쪽[({\tilde{X}}^{n},{\tilde{Y}^{n}^{\varepsilon }^{n}(X,Y)\오른쪽]\geqslant(1-\epsilon )2^{n(I(X;Y)+3\epsilon}}}}}}}}}}}}}}).$

전형성 적용

일반 집합 인코딩

정보이론에서, 전형적 세트 인코딩은 고정된 길이 블록 코드를 가진 전형적인 확률적 소스의 집합에 있는 시퀀스만 인코딩한다.일반적인 세트의 크기가 약 2이므로^nH(X) 코딩에는 nH(X) 비트만 필요함과 동시에 인코딩 오류 가능성이 ε으로 제한되도록 한다.점증적으로, 그것은 AEP에 의해 무손실이며 선원의 엔트로피 비율과 같은 최소 비율을 달성한다.

일반 집합 디코딩

정보이론에서 전형적인 집합 디코딩은 무작위 코딩과 함께 사용되어 전송된 메시지를 관측과 공동으로 ε-일반적인 코드 워드를 가진 것으로 추정한다.

{\w}=w\iff(\exists w)(x_{1}^{n})(w),y_{1}^{n}\in A_{\varepsilon }^{n}(X,Y)}}}

여기서 ${\hat {w}},x_{1}^{n}(w),y_{1}^{n}$ ${\hat {w}},x_{1}^{n}(w),y_{1}^{n}$ , ${\hat {w}},x_{1}^{n}(w),y_{1}^{n}$ ${\hat {w}},x_{1}^{n}(w),y_{1}^{n}$ ( w ${\hat {w}},x_{1}^{n}(w),y_{1}^{n}$ ) ${\hat {w}},x_{1}^{n}(w),y_{1}^{n}$ , y ${\hat {w}},x_{1}^{n}(w),y_{1}^{n}$ ${\$ 는 $w$ 메시지 ${\hat {w}},x_{1}^{n}(w),y_{1}^{n}$ 추정치, ${\displaystyle$ w $},$ 각각 $관찰$ 이다. $A_{\varepsilon }^{n}(X,Y)$ is defined with respect to the joint distribution $p(x_{1}^{n})p(y_{1}^{n} x_{1}^{n})$ where $p(y_{1}^{n} x_{1}^{n})$ is the transition probability채널 통계를 특징짓는 $p(x_{1}^{n})$ ( $p(x_{1}^{n})$ $p(x_{1}^{n})$ $p(x_{1}^{n})$ ) ${\displaystyle p(x_{1}^{n}})$ 는 $p(x_{1}^{n})$ 임의 코드북에서 코드 워드를 생성하는 데 사용되는 일부 입력 분포다.

범용 null-hyposis 테스트

유니버설 채널 코드

참고 항목

참조

C. E. 섀넌, "수학적 의사소통 이론", 벨 시스템 기술 저널, 제27권, 페이지 379–423, 623-656, 1948년 7월, 10월, 10월
Cover, Thomas M. (2006). "Chapter 3: Asymptotic Equipartition Property, Chapter 5: Data Compression, Chapter 8: Channel Capacity". Elements of Information Theory. John Wiley & Sons. ISBN 0-471-24195-4.
데이비드 J. C. 맥케이.정보 이론, 추론 및 학습 알고리즘 케임브리지:케임브리지 대학 출판부, 2003.ISBN 0-521-64298-1

Search