이산형 점의 밀도 제한

정보이론
엔트로피 미분 엔트로피 조건부 엔트로피 관절 엔트로피 상호정보 조건상호정보 상대 엔트로피 엔트로피 레이트 이산형 점의 밀도 제한
점증적 설비 특성 비율-분산 이론
섀넌의 소스 코딩 정리 채널 용량 노이즈 채널 코딩 정리 섀넌-하틀리 정리
v t

정보 이론에서 이산 점의 제한 밀도는 차분 엔트로피를 위한 Claude Shannon 공식에 대한 조정이다.null

그것은 Edwin Thompson Jaynes에 의해 미분 엔트로피의 초기 정의에서 결함을 다루기 위해 공식화되었다.null

정의

섀넌은 원래 차동 엔트로피라고 알려진 연속 분포의 엔트로피에 대해 다음과 같은 공식을 적었다.

${\displaystyle h(X)=-\int p(x)\log p(x)\,dx.}$

그러나, 이산 엔트로피에 대한 섀넌의 공식과는 달리, 이것은 어떤 파생의 결과가 아니다(산논은 단순히 이산 버전의 합계 기호를 적분으로 대체했다). 그러나 이산 엔트로피를 불확실성의 유용한 척도로 만드는 많은 성질이 부족하다.특히 변수의 변화에도 불변하지 않고 음수가 될 수 있다.게다가 그것은 차원적으로도 맞지 않는다.$P{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle P(x)}$은(는) 치수가 없으므로, $p{\displaystyle }$( x${\displaystyle }$) ${\displaystyle p(x)}$은(는) ${\displaystyle \frac{1d}{}}$ ${\displaystyle \frac{x}{}}$ ${\$의 단위를 가져야 하며$$$,$ 이는 로그에 대한 인수가 필요에 따라 치수가 없다는 것을 의미한다.null

Jaynes는 연속 엔트로피의 공식은 점점 밀도가 높아지는 이산 분포의 한계를 취함으로써 도출되어야 한다고 주장했다.^[1][2]$N$$$→${\displaystyle \mathrm{\infty }}$ ${\$$displaystyle$ $N$${\displaystyle {}_{}}$ 이산형$$ 지점${\displaystyle }${$xi}$ {x_${i}\}\displaystyle \$$to \infort}$ 한계에서 밀도가 $함수{\displaystyle }$ m${\displaystyle }$( ${\displaystyle x}$) ${\displaystyle m(x)}$에 근접한다고 가정합시다$.$null

${\displaystyle \lim _{N\to \flat }{\frac {1}{N}\,({\mbox{number of points in }a<x<b)=\int_{a}^{b}m(x)\,dx}$

Jaynes는 여기서 파생된 연속 엔트로피에 대한 다음과 같은 공식으로, 이 공식은 그가 올바른 공식으로 받아들여야 한다고 주장했다.

${\displaystyle \lim_{N_{N}(X)=\log(N)-\int p(x)\log {\frac {p(x)}{m(x)}}\dx.}$

일반적으로 이 항목을 작성할 때 일반적으로 한정되지 않기 때문에 ${\displaystyle \mathrm{로그}}$ ${\displaystyle }$(${\displaystyle N}$) ${\displaystyle \log(N)}$라는 용어가 생략된다$$.그래서 실제 공통의 정의는

${\displaystyle H(X)=-\int p(x)\log {\frac {p(x)}{m(x)}\,dx.}$

${\displaystyle \mathrm{로그}}$ ${\displaystyle }$(${\displaystyle N}$) ${\displaystyle \log(N)}$ 용어를$$ 생략해야 하는지 여부가 불확실한 경우, 쓸 수 있다.

${\displaystyle H_{N}(X)\심 \log(N)+H(X)}$

Jaynes 공식에서 $m{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle m(x)}$은(는) 확률 밀도라는 점에 유의하십시오.$m{\displaystyle (x}$) ${\displaystyle m(x)}$이(가) 리만 합에 사용되는 연속 공간의 정량화에 대한 유한 $N{\displaystyle }$ ${\displaystyle N}$의 경우 균일한 밀도가 된다$$^{[further explanation needed]}.한계에서 $m{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle m(x)}$은 연속 변수 $x{\displaystyle }$ ${\displaystyle x$을 나타내는 데 사용되는 정량화에서 점의 연속 제한 밀도 입니다.

Suppose one had a number format that took on ${\displaystyle N}$ possible values, distributed as per ${\displaystyle m(x)}$. Then ${\displaystyle H_{N}(X)}$ (if ${\displaystyle N}$ is large enough that the continuous approximation is valid) is the discrete entropy of the variable ${\displayst$$이$ 인코딩의$$ $yle$ x$}.$이는 이 정보를 전송하는 데 필요한 평균 비트 수와 같으며, ${\displaystyle \mathrm{로그}}$ ${\displaystyle }$(${\displaystyle N}$ ${\displaystyle )}$ ${\displaystyle \log(N)}$에 지나지 않는다$.$ 따라서 $H{\displaystyle }$ (${\displaystyle X}$) ${\displaystyle$ $H$$(X)}$는 $변수{\displaystyle }$ x ${\displaystyle$ x$}$가 분포 $p{\displaystyle }$( ${\displaystyle x}$) ${\d$)를$$ 따른다는 것을 알고 얻은 정보의 양으로 생각할 수 있다$$.$isplaystyle p(x)}$, and is not uniformly distributed over the possible quantized values, as would be the case if it followed ${\displaystyle m(x)}$. ${\displaystyle H(X)}$ is actually the (negative) Kullback–Leibler divergence from ${\displaystyle m(x)}$ to ${\displaystyle p(x)}$, which is th이전에 $m{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle m(x)}$으로 분포한다고 생각되었던 변수가 $실제로{\displaystyle }$p (${\displaystyle x}$ )$${\$displaystyle p(x)}$로 분포되어 있다는$$ 것을 알게 됨으로써 얻은 정보로서 의 것이어야 한다$.$

Jaynes의 연속 엔트로피 공식은 $m{\displaystyle (}$ x${\displaystyle }$) ${\displaystyle m(x)}$과 $p{\displaystyle (x)}$ ${\displaystyle p(x)}$이 같은 방식으로 변환되는$$ 경우 변수의 변화 하에서 불변하다는 특성을 갖는다. (이러므로 m에 대해 "불변한 측정"이라는 이름이 동기가 된다.)이것은 섀넌의 지속적인 엔트로피 공식을 적용함으로써 발생하는 많은 어려움들을 해결한다.Jaynes 자신은 ${\displaystyle \mathrm{로그}}$ ${\displaystyle }$ (${\displaystyle N}$ ){\$displaystyle \log(N)}$항은$$ 자신의 업무(최대 엔트로피 분포)와 관련이 없고, 계산에 무한한 항이 있다는 것이 다소 어색하다.불행히도, 연속적인 한계에서와 같이 임의로 양적화가 이루어지면 어쩔 수 없다.여기서 정의한$$ $H{\displaystyle }$( ${\displaystyle X}$) ${\displaystyle$ H$(X)}$ ${\displaystyle \mathrm{용어}}$(로그 $⁡$(${\displaystyle N}$) {\$displaystyle \log$(N$$$)}$ 제외)는 KL 차이가 항상 음수가 아니므로 항상 양성이 아닐 수 있다는 점에 유의하십시오.null

$m{\displaystyle }$ ( $x{\displaystyle }$$$) {\$displaystyle m(x)}$이(가) 크기 r ${\displaystyle r}$및 p${\displaystyle }$( x${\displaystyle }$) ${\displaystyle p(x)$이 해당 구간을 벗어나 본질적으로 0인$$ 경우라면 이산형 점(${\displaystyle \mathrm{LDDP}}$)의 제한 밀도는 차등 $엔트로피{\displaystyle }$ h (${\displaystyle X)}${\$displaysty h(X)$와 밀접한 관계가 있다.

${\displaystyle H_{N}(X)\약간의 \log(N)-\log(r)+h(X)}$

참조

추가 읽기

• Jaynes, E. T. (2003). Probability Theory: The Logic of Science. Cambridge University Press. ISBN 978-0521592710.