엔트로피율

정보이론
엔트로피 미분 엔트로피 조건부 엔트로피 관절 엔트로피 상호정보 지시정보 조건부상호정보 상대 엔트로피 엔트로피율 이산점 밀도 제한
점근 등분할 속성 율왜곡이론
샤넌의 소스 코딩 정리 채널용량 잡음 채널 부호화 정리 섀넌-하틀리 정리
v t

수학적 확률 이론에서 엔트로피율 또는 소스 정보율은 확률적 과정에 엔트로피를 할당하는 함수입니다.

강하게 고정된 공정의 경우, 최신 랜덤 변수에 대한 조건부 엔트로피는 결국 이 비율 값으로 향합니다.

정의.

카운트 가능한 인덱스를 가진$$ $X{\displaystyle }$ ${\displaystyle$ X$}$ 프로세스는 해당 조인트 엔트로피 ${\displaystyle {Hn}_{}{}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$… ${\displaystyle X_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle H_{n}(X_{1}, X_{2},\dots X_{n}}$의 시퀀스를 생성합니다$.$ 한계가 존재하는 경우 엔트로피 속도는 다음과 같이 정의됩니다.

${\displaystyle H(X):=\lim _{n\to \infty }{\tfrac {1}{n}}H_{n}}$

${\displaystyle 0_{}}$ = ${\$$displaystyle$ $a_{$0}=0}인 임의의 시퀀스$({\displaystyle n_{}}$ ${\displaystyle n_{}}$ ${\displaystyle (a_{n})_{n}$이 주어지면 δ에 k:= a - k - 1 {\displaystyle \Delta a_{k}:=a_{k}-a_{k-1}}, 텔레스코프를 사용하면 ${\displaystyle n_{}}$ = ∑ ${\displaystyle {}_{}}$ = 1 ${\displaystyle N_{}}$ δ k ${\displaystyle$ a_{n} = ${\textstyle \sum _{k$=$1$}^{n$\}\}\backslash$Delta a_{k}}를 가질 수 있습니다. 따라서 $엔트로피{\displaystyle }$ 속도는 n ${\displaystyle$ n$}$이 무한대로 가는$$ 첫 $번째{\displaystyle }$ n ${\displaystyle$ $n$$}$의 엔트로피 변화의 평균을 계산합니다. 한 지수에서 다음 지수로 이어지는 공동 엔트로피의 동작도 엔트로피의 일부 특성에 명시적으로 적용됩니다.

논의

$X{\displaystyle }$ ${\displaystyle X}$는 랜덤 변수의 시퀀스로 이해될$$ 수 있지만 엔트로피율 H${\displaystyle (X)}$ ${\displaystyle$ H$(X)}$는 장기적으로 하나의 랜덤 변수당 평균 엔트로피 변화를 나타냅니다$$.

확률적 소스의 일반적인 속성으로 생각할 수 있습니다. 이는 점근적 등분화 속성의 주제입니다.

강한 고정 공정의 경우

확률적 과정은 또한 점점 더 많은 확률 변수를 포함하는 일련의 조건부 엔트로피를 발생시킵니다. 강하게 고정된 확률적 과정의 경우 엔트로피 비율은 해당 시퀀스의 한계와 같습니다.

${\displaystyle H(X)=\lim _{n\to \infty }H(X_{n} X_{n-1},X_{n-2},\dots X_{1})}$

오른쪽의 한계에 의해 주어진 양은 $H{\displaystyle {}^{}\text{'}(X)}${\$displaystyle$ H$'(X)}$로 표시되며$,$ 이는 여기서 다시 위의 의미에서 공정과 관련된 비율이 되도록 확장하도록 동기를 부여합니다.

마르코프 체인의 경우

축소할 수 없고 비주기적이며 양의 반복인 마르코프 체인에 의해 정의되는 확률적 프로세스는 고정된 분포를 가지므로 엔트로피율은 초기 분포와 무관합니다.

예를 들어, 셀 수 있는 수의 상태에 정의된 마르코프 체인을 생각해 보십시오. 오른쪽 확률적 전이 행렬 ${\displaystyle {\mathrm{Pij}}_{}}$ ${\$와 엔트로피가 주어졌을 때

${\displaystyle h_{i}:=-\sum _{j}P_{ij}\log P_{ij}}$

각각의 상태와 연관되어 있는 것을 발견합니다.

${\displaystyle \displaystyle H(X)=\sum _{i}\mu _{i}h_{i}}$

$여기$서 ${\displaystyle {\mu i}_{}}$ ${\$는 사슬의 점근 분포입니다.

특히 i.i.d. 확률적 과정의 엔트로피 비율은 과정의 어떤 개별 구성원의 엔트로피와 같다는 것을 의미합니다.

적용들

엔트로피율은 확률적 과정의 복잡성을 추정하는 데 사용될 수 있습니다. 언어의 복잡성을 특성화하는 것부터 블라인드 소스 분리, 양자화 및 데이터 압축 알고리즘 최적화에 이르기까지 다양한 응용 분야에서 사용됩니다. 예를 들어, 기계 학습에서 특징 선택을 위해 최대 엔트로피율 기준이 사용될 수 있습니다.^[1]

참고 항목

• 정보원(수학)
• 마르코프 정보원
• 점근 등분할 속성
• 최대 엔트로피 랜덤 워크 - 엔트로피 속도를 최대화하기 위해 선택됨

참고문헌

• 표지, T. and Thomas, J. (1991) 정보 이론의 요소, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1]