점증적 설비 특성

정보이론
엔트로피 미분 엔트로피 조건부 엔트로피 관절 엔트로피 상호정보 조건상호정보 상대 엔트로피 엔트로피 레이트 이산형 점의 밀도 제한
점증적 설비 특성 비율-분산 이론
섀넌의 소스 코딩 정리 채널 용량 노이즈 채널 코딩 정리 섀넌-하틀리 정리
v t

정보이론에서 점증적 설비 특성(AEP)은 확률적 선원의 출력 샘플의 일반적인 속성이다. 그것은 데이터 압축 이론에 사용되는 전형적인 집합의 개념에 기초한다.

대략적으로 말하면, 정리는 무작위적인 과정에 의해 생성될 수 있는 일련의 결과들이 있지만, 실제로 생성된 결과는 아마도 모든 것이 실제로 실현될 수 있는 거의 동일한 가능성을 가진 느슨하게 정의된 결과 집합에서 나온 것일 것이라고 기술하고 있다.(이는 대수와 에고데틱의 법칙의 결과물이다). 이론). 비록 이 집합의 어떤 결과보다 높은 개개의 결과가 있지만, 집합의 방대한 수의 결과는 집합에서 결과가 나올 것이라는 것을 거의 보장한다. 속성을 직관적으로 이해하는 한 가지 방법은 평균으로부터의 큰 편차의 확률은 표본 수에 따라 기하급수적으로 감소한다는 Cramér의 큰 편차 정리를 통해서이다. 그러한 결과는 큰 편차 이론으로 연구된다; 직관적으로, 등전화를 위반할 수 있는 큰 편차이지만, 이것들은 가능성이 낮다.

유사수 생성 분야에서, 일부 통계기준에 의해 설정된 일반적인 설정의 범위를 너무 벗어난 출력 시퀀스를 가진 결정되지 않은 품질의 후보 생성자는 불충분한 무작위로 거부된다. 따라서, 일반적인 집합은 느슨하게 정의되지만, 충분한 전형성에 관한 실제적인 개념이 발생한다.

정의

확률 공간$({\displaystyle \mathrm{\Omega }}$, ${\displaystyle B}$, p${\displaystyle }$)$${\디스플레이 스타일$(\Oomega ,B,p)}$에 대한 이산 시간 정지 에고데틱 확률 프로세스 $X{\displaystyle }$ ${\$$displaystyle$ $X}$을(를) 감안할 때$,$ 점증적 비장전성 속성은 다음과 같은 주장이다.

${\displaystyle -{\frac {1}{n1}\log p(X_{1},X_{2},\dots,X_{n}})\to H(X)\quad {\text{{{}text{}를 }}}로 표시$

여기서 $H{\displaystyle }$( ${\displaystyle X}$) ${\displaystyle H(X)}$ 또는$$ $단순{\displaystyle }$ H ${\displaystyle H}$은(는) X의 엔트로피 속도를 나타내며$$$,$ $이{\displaystyle }$ 엔트로피 속도는 에르고딕을 포함한 모든 이산 시간 고정 프로세스에 대해 존재해야 한다. 그 점근 에너지 등분배. 속성은 Shannon–McMillan–Breiman 정리 finite-valued(i.e. Ω<>∞{\displaystyle \Omega<>\infty})정지 에르고드 확률 과정 에르고드 이론을 이용하고 i.i.d. 소식통 직접 둘 다 discrete-valued 사건(안에 많은 수의 법칙 사용할 수 있도록 제공된다. h${\displaystyle H}$은(는) 기호의 엔트로피(entropy)일$$ 뿐이고 연속값(여기서 H는 차동 엔트로피(differential entropy)이다. 무증상 장비 특성 정의는 또한 일반적인 세트가 충분히 긴 관찰 시간 동안 존재하는 연속 시간 확률 프로세스의 특정 종류에 대해서도 확장될 수 있다. 그 융합은 모든 경우에 거의 확실하다는 것이 입증되었다.

이산 시간 I.I.D. 소스

Given ${\displaystyle X}$ is an i.i.d. source which may take values in the alphabet ${\displaystyle {\mathcal {X}}}$, its time series ${\displaystyle X_{1},\ldots ,X_{n}}$ is i.i.d. with entropy ${\displaystyle H(X)}$. 대수의 약한 법칙은 확률의 수렴과 함께 무증상 장비 특성을 제공한다.

${\displaystyle \lim_{n\to \flt \}\property }\왼쪽[\frac {1}{n1}}\log p(X_{1},}},\ldots, X_{n}-H(X)\right >0=0\qquad \all \fpsilon >0.}$

엔트로피가 의 기대와 같기 때문에

${\displaystyle -{\frac {1}{n1}\log p(X_{1},X_{2},\ldots,X_{n}).}$^[1]

큰 숫자의 강한 법칙은 거의 확실한 융합을 주장하지만

${\displaystyle \Pr \left[\lim _{n\to \inflit }-{n1}}\log p(X_{1},X_{2},\ldots,X_{n}=H(X)\right]=1.}$

이산 시간 유한 값 고정 에고딕 소스

X:={Xn}{\displaystyle X:=\{X_{n}\}}이 확률 공간(Ω, B, p){\displaystyle(\Omega ,B,p)}에 정의된. 그 점근 장치 설명에 정지 에르고드 과정을 위해 1finite-valued 표본 공간Ω{\displaystyle \Omega}, 즉 Ω<>∞{\displaystyle \Omega<>\infty}을 검토해 보자.artiti클로드 섀넌, 브록웨이 맥밀런, 그리고 레오 브레이만 때문에 그러한 확률적 원천에 대한 재산은 섀넌-맥밀런-브레이만 정리라고 알려져 있다.

교정(스케치)

${\displaystyle \mathrm{일부}}$ $A{\displaystyle }$ ${\displaystyle \in }$ B ${\displaystyle A\in B}$에 대한 측정 가능한 ${\displaystyle \mathrm{집합}}$ $x{\displaystyle }$ ${\displaystyle =}$ X (A) $displaystyle$ x$=X(A)}$을(를) 나타냄 다음과 같이 n 및 x를 사용하여 접합 확률을 모수화하십시오. ${\displaystyle j(n,x):=p\왼쪽(x_{0}^{n-1}\오른쪽).}$ 조건부 확률을 다음과 같이 i, k 및 x로 모수화 ${\displaystyle c(i,k,x):=p\왼쪽(x_{i}\mid x_{i-k}^{i-1}\right).}$ 조건부 확률의 한도를 k → as으로 하고 그것을 as으로 표시한다. ${\displaystyle c(i,x):=p\왼쪽(x_{i}\mid x_{-\infit }^{i-1}\right).}$ 엔트로피 비율의 두 가지 개념을 논하라. ${\displaystyle \lim _{n\to \infit }\mathrm {E}[-\log j(n,X)]\quad {\text{and}\quad \lim_{n\to \infty }\mathrm {E}[-\log c(n,n,X)]}]}$ 고정된 에고다이렉트 프로세스 X를 포함한 모든 정지 프로세스에서 존재하며 동일하다. H로 표시한다. 둘 다라고 주장하다. ${\displaystyle {\begin{aligned}c(i,k,X)&:=\left\{p\left(X_{i}\mid X_{i-k}^{i-1}\right)\right\}\\c(i,X)&:=\left\{p\left(X_{i}\mid X_{-\infty }^{i-1}\right)\right\}\end{aligned}}}$ 여기서 i는 시간 지수로서, 고정된 에고다이컬 프로세스로, 샘플 평균은 각각$$ H ${\displaystyle k^{}}$ ${\$ H$^{k}$와 $H{\displaystyle {}^{}}$ ${\displaystyle {\infty \mathrm{}}^{}}$ ${\$로 표시된 일부 값으로 거의 확실하게 수렴된다. 확률 $a{\displaystyle }$(n${\displaystyle }$, ${\displaystyle k}$, x${\displaystyle }$)$${\$displaystyle a(n,k,x)$에 대한 k-th 순서 Markov 근사치를 다음과$$ 같이 정의하십시오. ${\displaystyle a(n,k,x):=p\left(X_{0}^{k-1}\right)\prod _{i=k}^{n-1}p\left(X_{i}\mid X_{i-k}^{i-1}\right)=j(k,x)\prod _{i=k}^{n-1}c(i,k,x)}$ $a{\displaystyle }$( ${\displaystyle n}$, ${\displaystyle k}$, X ${\displaystyle (\mathrm{\Omega }}$)${\displaystyle a(n,k,X(\Oomega )})$는 유한 값 가정으로부터 유한하다고$$ 주장하십시오. Express${\displaystyle }$- ${\displaystyle \mathrm{1n}\log }$ a ${\displaystyle (n,}$ ${\displaystyle k,}$ X$){\displaystyle -{\frac {1}{n}\log$ a$(n,k,X)$의 $샘플{\displaystyle }$ 평균 c${\displaystyle }$(${\displaystyle i,k}$, $){\displaysty c(i,k,X)}$에 거의 확실히k 수렴됨을 나타냄 확률 측정 정의 ${\displaystyle a(n,x):=p\left(x_{0}^{n-1}\mid x_{-\ft }^{-1}\right).}$ Express${\displaystyle }$- ${\displaystyle \mathrm{1n}\log }$ a${\displaystyle }$(${\displaystyle n}$ ${\displaystyle ,}$ $){\displaystyle -{\frac{1}{n}\log a(n,X)}$의 샘플 평균 $c{\displaystyle }$(${\displaystyle i,}$ X$){\displaysty c(i,X)}$에 거의 확실히∞ 수렴됨을 보여준다. 프로세스의 역점성을 사용하여 H k ${\displaystyle k{}^{}}$H ${\displaystyle H^{k}\searrow$ H}를$$k → ∞으로 주장하십시오$$. 레비의 마팅게일 수렴 정리 및 유한 가치 가정을 이용한 H = H라고∞ 주장한다. 표시 ${\displaystyle \mathrm {E} \좌측[{\frac {a(n,k,X)}{j(n,X)}}\우측]=a(n,k,X(\Oomega)}}$ 이전에 주장했던 것처럼 유한한 것이다. 표시 ${\displaystyle \mathrm {E} \left[{\frac {j(n,X)}{a(n,X)}}}\right]=1}$ 무한 $과거{\displaystyle {}_{}^{}}$ X -${\displaystyle {\mathrm{}}_1^{}}$- 1$${\$displaystyle$ X_${-\inflit$}^{-$1}$에 대한 조건화$$ 및 기대치를 반복한다. 표시 ${\displaystyle \flapa \forall \flaphb {R} \\Pr \왼쪽[{\frac {a(n,k,X)}}{j(n,X)}}\geq \alpha \lq(n,k,X)(\Oomega)}}}}}}}$ 마르코프의 불평등과 이전에 도출된 기대를 이용하여. 마찬가지로, 다음을 표시하십시오. ${\displaystyle \frac {j(n,X)}{a(n,X)}}\\geq \alpha \frac {1}{\rapa},}$ 에 해당하는 ${\displaystyle \all \alpha \in \mathb {R} \\Pr \왼쪽[{\frac {1}{n}\log {\frac{j(n,X)}}}}{a(n,X)}}}}}}}\eq {\frac {n}\alpha}{1}{1}{1}{1\frac}.}$ 의 림프절을 보여줘라. ${\displaystyle {\frac {1}{n1}\log {\frac {a(n,k,X)}{j(n,X)}}{j(n,X)}}}}{j(n,X)}}}}{\frac {n}}}}$ β > 1에 대해 α = n을β 설정하고 보렐-칸텔리 보조정리기를 적용함으로써 거의 확실히 양성적이지 않다. Liminf와 Limsupsu를 표시한다. ${\displaystyle -{\frac {1}{n}\log j(n,X)}$ 이전 결과에서 로그 분리를 통해 H와∞ H에k 의해 거의 확실히 하한과 상한이다. 이전에 H에 접근하기 위해 상한과 하한을 k → ∞으로 표시하였음을 지적하여 증거를 완성한다.

독립 기호를 생성하는 비스테이션 이산 시간 소스

무작위 변수의 측점성/전기성/식별 분포에 대한 가정은 점증적 설비 특성을 유지하는 데 필수적이지 않다. 실제로 상당히 직관적으로 명백하게 알 수 있듯이 점증적 등가물성에는 대수의 어떤 형태의 법칙만 보유하면 되는데, 이는 상당히 일반적이다. 그러나 표현은 적절히 일반화할 필요가 있고, 조건도 정확하게 공식화할 필요가 있다.

우리는 소스가 각각의 순간에 서로 다른 출력 통계를 가진 독립적인 기호를 생산하고 있다고 가정한다. 우리는 공정의 통계가 완전히 알려져 있다고 가정한다. 즉, 매 순간 나타나는 공정의 한계 분포가 알려져 있다. 공동분포는 이윤의 산물일 뿐이다. 그런 다음, V p ( ) < ${\displaystyle \mathrmat {Var}[\log$ p$(X_${i$})]$ [\$log$ p][[\log p(X_${i$}]]]]]]라는 조건 하에,모든 i에 대해 $M},$ 일부 M > 0에 대해 다음 고정(AEP):

${\displaystyle \lim _{n\to \infty }\Pr \left[\,\left -{\frac {1}{n}}\log p(X_{1},X_{2},\ldots ,X_{n})-{\overline {H}}_{n}(X)\right <\epsilon \right]=1\qquad \forall \epsilon >0}$

어디에

${\displaystyle {\overline{H}_{n}(X)={\frac {1}{1}{n}H(X_{1},X_{2},\ldots,X_{n}}}}}}$

증명

그 증거는 마르코프의 불평등(${\displaystyle \mathrm{로그}}$ ${\displaystyle }$(${\displaystyle {}_{}}$ ${\displaystyle (}$ ${\displaystyle X_{}}$ i${\displaystyle {}_{}}$)의$$두 번째 순간에 적용됨){\$displaystyle \log(p(X_{i})}}}$의 단순한 적용에서 따르게 된다$.$ ${\displaystyle {\begin{aligned}\Pr \left[\left -{\frac {1}{n}}\log p(X_{1},X_{2},\ldots ,X_{n})-{\overline {H}}(X)\right >\epsilon \right]&\leq {\frac {1}{n^{2}\epsilon ^{2}}}\mathrm {Var} \left[\sum _{i=1}^{n}\left(\log(p(X_{i})\right)^{2}\right]\\&\leq {\frac {M}{n\epsilon ^{2}}:\to 0{\text{{}} }{{n\text{{}} }} }{{n\to \flotty \end}}}}}$ $E{\displaystyle \mathrm{}}$[ ${\displaystyle \log }$ ${\displaystyle }$ ${\displaystyle p}$( ${\displaystyle {Xi}_{}}$) ${\displaystyle {}^{}}$ ${\displaystyle {}^{}}$ ${\$가 r > 1(r-th 순간에 적용되는 마르코프의 불평등에 따라)에 균일하게 경계된 경우 증거가 성립한다는 것은 명백하다. $◻{\$ 이 조건도 필요하지는 않지만, 비정전적 무작위적 공정을 감안할 때, 위의 방법을 사용하여 점증적 장비화 속성이 유지되는지 여부를 시험하는 것은 어렵지 않아야 한다.

적용들

비정전적 이산시간 독립 과정에 대한 점증적 장비화 특성은 비정전적 소스(독립적 출력 기호 포함)에 대한 소스 코딩 정리 및 비정전적 메모리 없는 채널에 대한 노이즈 채널 코딩 정리를 (다른 결과 중) 이끈다.

연속 시간 고정식 에고딕 소스

이산 시간 함수는 연속 시간 함수에 보간할 수 있다. 만일 그러한 보간 f를 측정할 수 있다면, $X{\displaystyle \stackrel{}{}}$~${\displaystyle }$:=${\displaystyle f}$ ${\displaystyle \circ }$X {\$displaystyle {\tilde{\X}:=f\circ$ X$}$와 같이 연속 시간 고정 프로세스를 정의할 수 있다$.$ i.d 또는 유한 값 고정 에고다이렉틱 사례에서와 같이 점증하지 않는 시간 공정의 경우, 자동으로 고정 프로세스를 유지한다.r 측정 가능한 보간법에 의해 그것으로부터 파생된 연속 시간 정지 과정.

${\displaystyle -{\frac {1}{n}}\log p({\tilde {X}_{0}^{\tau }})\to H(X)}$

여기서 n은 시간 degree의 자유도에 해당한다. nH(X)/τ과 H(X)는 각각 섀넌이 정의한 단위 시간 당 엔트로피와 자유도 당 엔트로피이다.

그러한 연속 시간 고정 프로세스의 중요한 클래스는 연속 L ${\displaystyle 2_{\mathrm{}}}$ ${\$}}개 함수의$$ 부분집합인 상태에서 밴드제한 고정 에고딕 공정이다. 무증상 장비 특성에는 공정이 백색인 경우, 시간 샘플이 i.i.d인 경우 또는 T > 1/2W인 경우, 여기서 W는 공칭 대역폭이며, T 간격 시간 샘플이 유한 집합의 값을 취하며, 이 경우 이산 시간 유한 가치 고정 에고딕 프로세스를 갖는다.

또한 모든 시간 변화성 운영은 점근성, 역점성 및 인간성을 보존하며, 우리는 그 과정에서 유한한 시간 표본을 무효화함으로써 점근성 장비 특성을 잃지 않고 정지 공정을 비정거성으로 쉽게 전환할 수 있다.

범주론

장비 특성에 대한 범주 이론적 정의는 그로모프에 의해 주어진다.^[3] Given a sequence of Cartesian powers ${\displaystyle P^{N}=P\times \cdots \times P}$ of a measure space P, this sequence admits an asymptotically equivalent sequence H_N of homogeneous measure spaces (i.e. all sets have the same measure; all morphisms are invariant under the group of automorphisms, and thus factor as a morp쉿, 종말의 목적어까지) .

위와 같은 증상은 무증상 등가성의 정의를 필요로 한다. 이것은 거리 함수의 관점에서 주어지며, 주입적 대응과 이형성과의 차이점을 제공한다. 주입식 대응 $\pi {\displaystyle }$: ${\displaystyle P}$→ ${\displaystyle Q}$ ${\디스플레이$ 스타일 $\pi$:$P\to Q}$은 부분적으로 정의된 지도로서, 편향이다. 즉, $부분집합{\displaystyle {}^{}}$ P ${\displaystyle \subset }$ P ${\displaystyle {\subset }^{}}$ ${\displaystyle P}${ P {\$displaystyle$P'\$subset$ P$}$와 Q$$ ${\displaystyle \prime }$ $Q{\displaystyle {}^{}}$ ${\displaystyle q}$ Q ${\displaystyle$ Q$'\subset$ Q$} 사이$의 편향이다$.$ 그런 다음 정의한다.

${\displaystyle P-Q _{\pi }=P\smallsetminus P' + Q\smallsetminus Q' }$

여기서 S는 집합 S의 척도를 나타낸다. 다음에 나오는 것은 P와 Q의 측정치를 1로 하여 측정공간이 확률공간이 되도록 한다. 이 거리 ${\displaystyle P}$- ${\displaystyle Q}$ ${\displaystyle {}_{}}$ ${\$은 일반적으로 지구 이동자의 거리 또는 와세르슈타인 미터법으로 알려져$$ 있다.

마찬가지로, 정의

${\displaystyle \log P:Q _{\pi }={\frac {\super}\log \pi (p) }{\log p-\log \min \left(\operatorname {set}(P') , \operatorname {set}(Q') \rig) \rig) \right)}}}$

P에 대한 카운트 측정값으로 ${\displaystyle \mathrm{설정}}$된 ${\displaystyle ▼(P}$) $displaystyle \operatorname {set}(P) }.$ 따라서 이 정의는 P가 유한한 측정공간이 될 것을 요구한다. 마지막으로

${\displaystyle {\text{dist}_{\pi }(P,Q)= P-Q _{\pi }+ \log P:Q _{\pi }}}}}}$

일련의 주입 서신 $\pi {\displaystyle {}_{}}$ ${\displaystyle N_{}}$: ${\displaystyle {}_{}}$ ${\displaystyle N_{}}$→ ${\displaystyle {}_{}}$ ${\displaystyle N_{}}$ ${\$$P_{{N}\to Q_{N}}$는 다음과 같은 경우 증상이 나타나지 않고 동등하다.

${\displaystyle{\dist}_{\pi_{N}}\{N}}\to 0\quad {\text{\text{}to \inforty}}$

점증상 P와^N 동등한 균질 공간 시퀀스 H에_N 대해 P의 엔트로피 H(P)를 다음과 같이 취할 수 있다.

${\displaystyle H(P)=\lim _{N\to \inflt }{\frac {1}{N} \operatorname {set}(H_{N}) }}$

참고 항목

• 크레이머의 큰 편차 정리
• 소스 부호화 정리
• 노이즈 채널 코딩 정리

메모들

참조

저널 기사

• 클로드 E. 섀넌 "수학적 의사소통 이론" 벨 시스템 기술 저널, 1948년 7월/10월.
• Algoet, Paul H.; Cover, Thomas M. (1988). "A Sandwich Proof of the Shannon-McMillan-Breiman Theorem" (PDF). The Annals of Probability. 16 (2): 899–909.
• 세르히오 베르두와 테 선 한. "무소음 소스 코딩에서 점증적 장비화 속성의 역할." IEEE 정보이론 거래, 43(3): 847–857, 1997.

교과서

• Cover, Thomas M.; Thomas, Joy A. (1991). Elements of Information Theory (first ed.). Hoboken, New Jersey: Wiley. ISBN 978-0-471-24195-9.
• MacKay, David J.C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press. ISBN 0-521-64298-1.