미분 엔트로피

정보이론
엔트로피 미분 엔트로피 조건부 엔트로피 관절 엔트로피 상호정보 조건상호정보 상대 엔트로피 엔트로피 레이트 이산형 점의 밀도 제한
점증적 설비 특성 비율-분산 이론
섀넌의 소스 코딩 정리 채널 용량 노이즈 채널 코딩 정리 섀넌-하틀리 정리
v t

미분 엔트로피(sifferential entropy, 연속 엔트로피라고도 함)는 무작위 변수의 평균 돌발성의 척도인 (Shannon) 엔트로피 사상을 연속 확률 분포로 확장하려는 시도로 시작된 정보 이론의 개념이다. 불행히도 섀넌은 이 공식을 도출하지 못했고, 오히려 그것이 이산 엔트로피의 정확한 연속 아날로그라고 추측했을 뿐이지만, 그렇지 않다.^{[1]: 181–218} 이산 엔트로피의 실제 연속 버전은 이산 점의 제한 밀도(LDDP)이다. 미분 엔트로피(여기 설명)는 문헌에서 흔히 접하지만, LDDP의 제한적인 경우로서, 이산 엔트로피와의 근본적 연관성을 상실하는 경우다.

정의

$X{\displaystyle }$ ${\displaystyle X}$을(를) $설정$된 X ${\$을(를) 지원하는 확률밀도함수 $f{\displaystyle }$ {\$displaystyle f}$을(를$)$ 가진 랜덤 변수가 되도록$$ 하십시오$.$ 차동 엔트로피 $h{\displaystyle (}$ X${\displaystyle }$) ${\displaystyle h(X)}$ 또는$$ $h{\displaystyle (f}$) ${\displaystyle h(f)}$은(는) 다음과^{[2]: 243} 같이 정의된다$$.

명시적 밀도함수 식이 없지만 명시적 정량함수 식이 있는 확률 $분포$의 경우 $Q{\displaystyle }$( p${\displaystyle }$) ${\displaystyle Q($p$)\},$ h${\displaystyle }$( ${\displaystyle Q}$$)$ {\$displaystyle$ $h($Q$)}$의 파생적 ${\displaystyle \mathrm{관점}}$에서 정의될 수$$ 있다$.$ 즉, 정량함수 $Q{\displaystyle {}^{}}$$$${\displaystyle {\prime }^{}}$(${\displaystyle p}$)${\displaystyle )}$ ${\displaystyle$ Q$'(p)}$을(를) 다음으로$$

${\displaystyle h}$( ${\displaystyle Q}$)${\displaystyle }$= ${\displaystyle {}_{}^{}}$ 0 ${\displaystyle {1\mathrm{}}_{}^{}}$ ${\displaystyle \mathrm{로그}}$ Q${\displaystyle {}^{}q}$ ( p${\displaystyle }$) d${\displaystyle p}$ ${\displaystyle$ h($Q)=\$int$_{0}^{1}^{1}\log$ Q$'(p)\,dp}$.

이산형 아날로그와 마찬가지로 차동 엔트로피의 단위는 로그의 기저에 따라 달라지는데, 이는 보통 2(즉, 단위는 비트)이다. 다른 기준에서 취한 로그에 대한 로그 단위를 참조하십시오. 조인트, 조건부 미분 엔트로피, 상대 엔트로피와 같은 관련 개념은 유사한 방식으로 정의된다. 이 불연속 아날로그와 달리, 차등 엔트로피:183–184 예를 들어, 수량 단위로 측정한 차동 엔트로피 log(1000) 같은 수량미터로 측정되지 않을 것이다;무한한 수량 차동 엔트로피o. 있는 장치가 X{X\displaystyle}.[4]을 측정하는데 사용되는 결정하는 오프셋다flog(1000) 1000으로 나눈 같은 수량보다 많다.

확률밀도함수가 1보다 클 수 있으므로 이산 엔트로피의 특성을 차등 엔트로피에 적용하려고 노력할 때 주의해야 한다. 예를 들어 ${\displaystyle \mathrm{균등}}$ 분포 U${\displaystyle (0,}$ 1${\displaystyle }$/ ${\displaystyle 2\mathrm{}}$) ${\displaystyle {\mathcal{U}}(0,1/$2)에$$음의 차등 엔트로피가 있음$$

${\displaystyle \int _{0}^{\frac {1}{2}}-2\log(2)\,dx=-\log(2)\,}$

미분 엔트로피가 0인$U{\displaystyle \mathcal{}(0}$, 1 ) ${\displaystyle$ {\mathcal ${U}(0,1$)보다 작음. 따라서 미분 엔트로피는 이산 엔트로피의 모든 특성을 공유하지 않는다.

연속적인 상호 정보 $I{\displaystyle (X}$; ${\displaystyle Y}$) ${\displaystyle I(X;Y)}$은 $실제$로 X ${\displaystyle X}$과 $Y{\displaystyle }$ ${\displaystyle Y}$의 파티션에 대한$$ 이산 상호 정보의 한계이기 때문에 이산 정보의 척도로서 근본적인 중요성을 유지하는 구별한다는 점에 유의하십시오$$.점점 더 미세해지다 $따라서{\displaystyle }$ X ${\displaystyle X}$ $및$ Y ${\displaystyle Y}$의 선형 변환을 포함하여 비선형 동형성(연속적이고 고유하게 반전 가능한 지도$)$에 따라 불변하며, 여전히 값의 연속적인 공간을 허용하는 채널을 통해 전송될 수 있는 이산 정보의 양을 나타낸다.

연속 공간으로 확장된 이산 엔트로피의 직접 아날로그에 대해서는 이산 점의 밀도 제한을 참조하십시오.

미분 엔트로피의 특성

• 확률 밀도 $f{\displaystyle }$ ${\displaystyle f}$ $및{\displaystyle }$ g$$ ${\displaystyle g}$의 $경우{\displaystyle {}_{}}$, Kullback-Leibler d K${\displaystyle {}_{}{L}_{}}$ (${\displaystyle f}$ g ${\displaystyle )}$ ${\displaysty D_{KL}(f$ g$)$은 $거의$ 모든 곳에서 f${\displaystyle }$= g ${\displaysty f=g}$인 경우에만 0보다 크거나$$ 같다. Similarly, for two random variables ${\displaystyle X}$ and ${\displaystyle Y}$, ${\displaystyle I(X;Y)\geq 0}$ and ${\displaystyle h(X Y)\leq h(X)}$ with equality if and only if ${\displaystyle X}$ and ${\displaystyle Y}$ are independent.
• 차동 엔트로피의 체인 규칙은 이산형 케이스와 같다^{[2]: 253} .

${\displaystyle h(X_{1},\ldots ,X_{n})=\sum _{i=1}^{n}h(X_{i} X_{1},\ldots ,X_{i-1})\leq \sum _{i=1}^{n}h(X_{i})}$.

• 차등 엔트로피는 번역 불변성, 즉 $상수{\displaystyle }$ c ${\displaystyle c}$에 대한 번역 불변성 입니다$.$^{[2]: 253}

${\displaystyle h(X+c)=h(X)}$

• 차동 엔트로피는 일반적으로 임의의 회전 불가능한 지도에서 불변성이 아니다.

특히 상수의 $경우{\displaystyle }$ ${\displaystyle a}$

${\displaystyle h(aX)=h(X)+\log a }$

벡터 값 랜덤 변수 $X{\displaystyle \mathbf{}}$ ${\$및$$ 반전 가능한(제곱) 행렬 ${\displaystyle \mathbf{}}$ ${\$ {$A}}$의 경우

${\displaystyle h(\mathbf {A} \mathbf {X} )=h(\mathbf {X})+\log(\det \mathbf {A}\right)}$^{[2]: 253}

• 일반적으로 임의 $벡터$에서 ${\displaystyle \mathrm{동일}}$한 치수${\displaystyle Y\mathbf{}}$=${\displaystyle }$m$$( X ) {\$displaystyle \mathbf {Y} =m\left(\mathbf {X$} \right$)$로 변환하는 경우$,$ 해당 엔트로피는 다음을 통해 관련된다.

${\displaystyle h(\mathbf {Y} )\leq h(\mathbf {X})+\int f(x)\log\왼쪽\vert {\fract {\partial m}{\partial m}}\partial x}\right\x}$

여기서 ${\displaystyle \partial \frac{\mathrm{}}{m}}$ ${\displaystyle \frac{\mathrm{}}{}}$ x${\displaystyle \frac{}{}}$\$displaystyle \left\vert {\frac {\partial m}{\partial x}\right\vert }}$은 $변환{\displaystyle }$ m ${\displaystym m}$의 Jacobian이다$.$^[7] 위와 같은 불평등은 변형이 편견이라면 평등이 된다. 또한 $m{\displaystyle }$ ${\displaystyle m}$이(가) 경직된 회전, 변환 또는 그 조합인 경우, Jacobian 결정요소는 항상 1이고, $h{\displaystyle }$(${\displaystyle Y}$) =${\displaystyle h}$ ( ${\displaystyle X}$)$${\$displaystyle$ h$(Y)=h(X)}$이다$.$

• If a random vector ${\displaystyle X\in \mathbb {R} ^{n}}$ has mean zero and covariance matrix ${\displaystyle K}$, ${\displaystyle h(\mathbf {X} )\leq {\frac {1}{2}}\log(\det {2\pi eK})={\frac {1}{2}}\log[(2\pi e)^{n}\det {K}]}$$$ $X{\displaystyle }$ ${\displaystyle X}$이(가) 공동으로 가우스인 경우에만 동등하게(아래 참조).^{[2]: 254}

그러나 차등 엔트로피는 다른 바람직한 특성을 가지고 있지 않다.

• 변수의 변화에서는 불변성이 아니므로 치수 없는 변수와 함께 가장 유용하다.
• 부정적일 수 있다.

이러한 단점을 해결하는 차동 엔트로피의 수정은 불변 측정 계수를 포함하는 상대적 정보 엔트로피(Kullback-Leibler difference)라고도 한다(이연성 지점의 제한 밀도 참조).

정규 분포에서의 최대화

정리

정규 분포를 사용하면 주어진 분산에 대해 차분 엔트로피가 최대화된다. 가우스 랜덤 변수는 등분산의 모든 랜덤 변수 중에서 엔트로피가 가장 크거나, 또는 평균과 분산의 제약조건에 따른 최대 엔트로피 분포가 가우스 변수다.^{[2]: 255}

증명

$g{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle g(x)}$을(를) 평균 μ 및 분산 $\sigma {\displaystyle {}^{}}$ ${\displaystyle {2\mathrm{}}^{}}$ ${\$}} 및$$ $f{\displaystyle }$( ${\displaystyle x}$) ${\displaystyf f(x)}$을(를) 같은 분산을 가진 임의의 PDF로 두십시오$$. 차등 엔트로피는 번역 ${\displaystyle \mathrm{불변성}}$이기 때문에 $f{\displaystyle }$( x${\displaystyle }$) ${\displaystyle f(x)}$이(가) g${\displaystyle }$( ${\displaystyle x}$) ${\displaystyle$ $\mu$$$$}$과($와$$)$의 평균이 $같다고{\displaystyle }$ 가정할 수 있다$.$

두 분포 사이의 Kullback-Leibler 차이를 고려하십시오.

${\displaystyle 0\leq D_{KL}(f g)=\int _{-\infty }^{\infty }f(x)\log \left({\frac {f(x)}{g(x)}}\right)dx=-h(f)-\int _{-\infty }^{\infty }f(x)\log(g(x))dx.}$

이제 주의하십시오.

${\displaystyle{\begin{정렬}\int _ᆰ^ᆱf())\log(g()))dx&,=\int _ᆲ^ᆳf())\log \left({\frac{1}{\sqrt{2\pi \sigma ^{2}}}}e^{-{\frac{())^{2}}{2\sigma ^{2}}}}\right)dx\\&,=\int _ᆶ^ᆷf())\log{\frac{1}{\sqrt{2\pi \sigma ^{2}}}}dx\,+\,\log(e)\int _ᆺ^ᆻf())\left(-{\frac{(x-\.)^{2}뮤}{2\sigma ^{2}}}\right)dx\\&=-{\tfrac {1}{2}}\log(2\pi \sigma ^{2})-\log(e){\frac {\sigma ^{2}}{2\sigma ^{2}}}\\&=-{\tfrac {1}{2}}\left(\log(2\pi \sigma ^{2})+\log(e)\right)\\&=-{\tfrac {1}{2}}\log(2\pi e\sigma ^{2})\\&=-h(g)\end{aligned}}}$

결과는 분산을 통해서가$$ 아닌 $f{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle f(x)}$에 의존하지 않기 때문이다. 두 결과를 결합하면 산출량이 증가한다.

${\displaystyle h(g)-h(f)\geq 0\!}$

Kullback-Leibler 발산 $속성$에서 f${\displaystyle }$( ${\displaystyle x}$)${\displaystyle }$= g${\displaystyle }$( ${\displaystyle x}$) ${\displaystyle f(x)=g(x)}$을(를) 따를 때 동등하게.

대체증거

이 결과는 또한 변동 미적분을 사용하여 증명될 수 있다. 두 개의 Lagrangian 승수가 있는 Lagrangian 함수는 다음과 같이 정의할 수 있다.

${\displaystyle L=\int _{-\infty }^{\infty }g(x)\ln(g(x))\,dx-\lambda _{0}\left(1-\int _{-\infty }^{\infty }g(x)\,dx\right)-\lambda \left(\sigma ^{2}-\int _{-\infty }^{\infty }g(x)(x-\mu )^{2}\,dx\right)}$

여기서 g(x)는 평균 μ를 갖는 함수다. When the entropy of g(x) is at a maximum and the constraint equations, which consist of the normalization condition ${\displaystyle \left(1=\int _{-\infty }^{\infty }g(x)\,dx\right)}$ and the requirement of fixed variance ${\displaystyle$$\left(\sigma ^{2}=\int_{-\infit }^{}g(x-\mu )^{2}\,dx\right)}$이$($가) 모두 충족되면 g(x)에 대한 작은 변동 Δg(x)가 L에 대해 ΔL을 생성하며, 이는 0과 같다.

${\displaystyle 0=\delta L=\int_{-\infit }^{\\delta g(x)(x)\left(\ln(g(x)+1+\lambda _{0}+\lambda(x-\mu )^{2}\dx}\,dx}$

이는 모든 작은 Δg(x)에 대해 유지되어야 하므로, 괄호 안의 항은 0이어야 하며 g(x) 수율에 대한 해결은 다음과 같다.

${\displaystyle g(x)=e^{-\lambda _{0}-1-\lambda (x-\mu )^{2}}}$

λ과₀ λ에 대해 해결하기 위해 제약 조건 방정식을 사용하면 다음과 같은 정규 분포를 얻을 수 있다.

${\displaystyle g(x)={\frac {1}{\sqrt {2\pi \ \ma ^{2}}:e^{-{{\frac {(x-\mu )^{2}}:{2\ma ^{2}}:}$

예제: 지수 분포

$X{\displaystyle }$ ${\displaystyle X}$을(를) 매개 변수 $\lambda {\displaystyle }$ ${\displaystyle \lambda$ $\},$ 즉 확률밀도 함수와 함께 지수 분포 랜덤 변수로 사용

${\displaystyle f(x)=\data e^{-\data x}{\mbox{{{}x\geq 0.}$

그것의 차등 엔트로피는 그 다음이다.

${\displaystyle h_{e}(X)\,}$	${\displaystyle =-\int _{0}^{\infit }\\nftda e^{-\nftda x}\log(\putda e^{-\nfda x})\,dx}$
	${\displaystyle =-\\ft(\int_{0}^{\int)}(\log \ \da )\notda e^{-\notda x}\,dx+\int_{0}^{0}^(-\inftyda x)\-\intda e^{-\notda x}$
	${\displaystyle =-\log \lambda \int_{0}^{\inf(x)\,dx+\lambda E[X]}$
	$\displaystyle =-\log \ \da +1\,}$

여기서는 계산을 간소화하기 위해 로그가 e로 가져갔음을 명시하기 위해$$ $h{\displaystyle }$( ${\displaystyle X}$) ${\displaystyle h_$${e}(X$$)}$가 아니라 $h{\displaystyle {}_{}}$ ( X)${\displaystyle$ h$(X$)}을 사용하였다$$.

추정기 오류와의 관계

차동 엔트로피는 추정기의 예상 제곱 오차에 대해 하한을 산출한다. 임의 변수 $X{\displaystyle }$ ${\displaystyle X}$ 및$$ 추정기 $X{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ ${\$의 경우 다음이$$ 유지된다.^[2]

${\displaystyle \operatorname {E}[(X-{\widehat{X})^{2}]\geq {\frac {1}{2\pi e}e^{2h(X)}}}}}}$

$X{\displaystyle }$ ${\displaystyle X}$이(가) 가우스 랜덤 변수이고 $X{\displaystyle \stackrel{}{}}$ ${\displaystyle \stackrel{}{^}}$ ${\$이(가) $X{\displaystyle }$ ${\displaystyle$X}의 평균인 경우에만 동일함$.$

다양한 분포를 위한 차동 엔트로피

In the table below ${\displaystyle \Gamma (x)=\int _{0}^{\infty }e^{-t}t^{x-1}dt}$ is the gamma function, ${\displaystyle \psi (x)={\frac {d}{dx}}\ln \Gamma (x)={\frac {\Gamma '(x)}{\Gamma (x)}}}$ is the digamma function, $$${\displaystyle B(p}$ ,${\displaystyle q}$)${\displaystyle }$= ${\displaystyle \gamma \frac{\mathrm{}}{}}$( p${\displaystyle \frac{}{}}$) ${\displaystyle \frac{\mathrm{q}}{}}$ (${\displaystyle \frac{q}{}}$ )${\displaystyle \frac{}{\mathrm{}}}$ ( q ) {${\displaystyle \frac{}{}}$(${\displaystyle \frac{p}{}}$+ ${\displaystyle \frac{q}{}}$ ${\displaystyle \frac{)}{}}$ ${\$는_E 오일러의 상수다.^{[8]: 219–230}

차동 엔트로피 표

배포 이름	확률밀도함수(pdf)	엔트로피 인 나츠	지원
유니폼	${\displaystyle f(x)={\frac {1}{b-a}}$	$\displaystyle \ln(b-a)\,}$	$디스플레이 스타일 [a,b]\, [a,b]\,}$
정상	${\displaystyle f(x)={\frac {1}{\sqrt{2\pi \pi \frac{2}}\exp \frac{(x-\mu )^{2}{2\ma ^{2}}\}\오른쪽)}$	${\displaystyle \ln \왼쪽(\displayma {2\,\sqrt {2\,\pi \,e}\오른쪽)}$	$(-\displaystyle(-\fty,\fty)\,}$
지수적	$\displaystyle f(x)=\exp \leftda\ftda x\오른쪽)}$	$\displaystyle 1-\ln \lambda \,}$	$(\displaystyle [0,\fty )\,}$
레일리	${\displaystyle f(x)={\frac {x}{\frac ^{2}}:}\ex \frac ^{x^{2}}:{2\fracma ^{2}}:}\오른쪽)}$	${\displaystyle 1+\ln {\frac {\sigma }{\sqrt{2}}+{\frac {\gamma _{E}}}}}}}$	$(\displaystyle [0,\fty )\,}$
베타.	${\displaystyle }$$f{\displaystyle \mathrm{}}$${\displaystyle }$( ${\displaystyle x}$)${\displaystyle }$= ${\displaystyle x\frac{{}^{}}{}}$ ${\displaystyle \frac{{\alpha }^{}}{}}$- ${\displaystyle \frac{1^{}}{}}$ (${\displaystyle \frac{{}^{}1}{}}$- ${\displaystyle \frac{\mathrm{x}{}^{}}{}}$) ${\displaystyle \frac{{\beta }^{}}{}}$- ${\displaystyle \frac{{}^{}}{}}$ ${\displaystyle \frac{{\mathrm{B}}^{}}{}}$ ${\displaystyle \frac{(\alpha }{}}$ ,${\displaystyle \frac{\beta }{}}$) ${\$ 0$$${\displaystyle }$≤ ${\displaystyle x}$≤ ${\displaystyle 1}$ ${\styleq.$	${\displaystyle \ln B(\alpha ,\beta )-(\alpha -1)[\psi(\alpha )-\psi(\alpha +\beta )]\,}$ $[\displaystyle -(\displaystyle -1)][\displays(\displaystyle)]-\\\,}$	${\displaystyle [0,1]\,}$
카우치	${\displaystyle f(x)={\frac {\pi }}{\frac {1}{\frac }{1}{\frac ^{2}+x^{2}}}}}$	${\displaystyle \ln(4\pi \pi )\,}$	$(-\displaystyle(-\fty,\fty)\,}$
기를	${\displaystyle f(x)={\frac {2}{2^{k/2}\감마(k/2)}}}x^{k-1}\exp \left(-{\frac{x^{2}}:}\오른쪽)}}$	${\displaystyle \ln {\frac {\Gamma(k/2)}{\sqrt{2}}-{{k-1}{2}}\psi \left({\frac {k}{2}}\오른쪽)+{\frac {k}{k}{2}}}}}}}}}}}}}}$	$(\displaystyle [0,\fty )\,}$
카이-제곱	${\displaystyle f(x)={\frac {1}{2^{k/2}\감마(k/2)}}{\frac {k}{2}}\\-\1}\exp \왼쪽(-{\frac}{x}{2}}\오른쪽)}}}$	${\displaystyle \ln 2\Gamma \왼쪽({\frac {k}{2}}\오른쪽)-\왼쪽(1-{\frac {k}{2}}\오른쪽)\psi \왼쪽({\frac {k}{2}}\오른쪽)+{\frac {k}{2}}}}}}}}}}}}}}}}}}}}}}}$	$(\displaystyle [0,\fty )\,}$
얼랑	${\displaystyle f(x)={\frac {\fracda ^{k}}{(k-1)!}}}x^{k-1}\expx\expa x)}$	${\displaystyle (1-k)\psi (k)+\ln {\frac {\감마(k)}{\lambda }}$	$(\displaystyle [0,\fty )\,}$
F	${\displaystyle f(x)={\frac {n_{1}^{\frac {n_{1}}{2}}n_{2}^{\frac {n_{2}}{2}}}{B({\frac {n_{1}}{2}},{\frac {n_{2}}{2}})}}{\frac {x^{{\frac {n_{1}}{2}}-1}}{(n_{2}+n_{1}x)^{\frac {n_{1}+n2}{2}}}}}$	${\displaystyle \ln {\frac {n_{1}}{n_{2}}}B\left({\frac {n_{1}}{2}},{\frac {n_{2}}{2}}\right)+\left(1-{\frac {n_{1}}{2}}\right)\psi \left({\frac {n_{1}}{2}}\right)-}$ ${\displaystyle \left(1+{\frac{n_{2}}\\right)\refac\frac\frac{n_{n1}+{2}+{2}}}{2}}:\cHB\frac{n_{1}\!+\!n_{2}}:{2}}\오른쪽)}$	$(\displaystyle [0,\fty )\,}$
감마	${\displaystyle f(x)={\frac {x^{k-1}\ex(-{\frac {x}{\theta }}}}{\theta ^{k}\감마(k)}}}}}}}$	${\displaystyle \ln(\theta \Gamma(k)+(1-k)\psi(k)+k\,}$	$(\displaystyle [0,\fty )\,}$
라플라스	${\displaystyle f(x)={\frac {1}{1}{2b}\exp \left(-{\frac {x-\mu }{b}\오른쪽)}$	$1+\ln(2b)\,}$	$(-\displaystyle(-\fty,\fty)\,}$
로지스틱	${\displaystyle f(x)={\frac {e^{-x}}{(1+e^{-x})^{2}}:$	$2\displaystyle 2\,}$	$(-\displaystyle(-\fty,\fty)\,}$
대수 정규	${\displaystyle f(x)={\frac {1}{\\\pi }}}}\exp \refrac{{\ln x-\mu )^{2}{2}}}$	${\displaystyle \mu +{\frac {1}{1}:{2}}\ln(2\pi e\pima ^{2})}$	$(\displaystyle [0,\fty )\,}$
맥스웰-볼츠만	${\displaystyle f(x)={\frac {1}{a^{3}}{\frac {2}{\pi }}\,x^{2}\ex \ex \frac{x^{2}}:{2a^}}\오른쪽)}}}$	${\displaystyle \ln(a{\sqrt {2\pi }}})+\감마 _{E}-{\frac {1}{2}}:}$	$(\displaystyle [0,\fty )\,}$
일반화 정규 분포	${\displaystyle f(x)={\frac {2\beta ^{\frac {\alpha }{2}}:}{\Gamma({\frac {\alpha }}}}}}}x^{\alpha -1}\exp(-\beta x^{2})}$	${\displaystyle \ln {\frac {\Alpha /2)}{2\beta ^{1}{1}{1}2}}-{\frac {\alpha -1}{2}}-}\psi \left({\frac {\lpha }}{2}}\rig)+{\frc\frapa{{{{{{}}}}}}}}}}}}}}}}}}}}}$	$(-\displaystyle(-\fty,\fty)\,}$
파레토	${\displaystyle f(x)={\frac {\frac x_{m}^{\m}^{x^{\m}}}}}{x^{\filences +1}:{x^{\m}}}}}$	${\displaystyle \ln {\frac {x_{m}}{\property }}{\prac 1+{\frac {1}{\property }}}}$	${\displaystyle [x_{m},\infully )\,}$
학생 t	${\displaystyle f(x)={\frac{(1+x^{2}/\nu )^{-{-{-{\frac {\\nu +1}{2}}:{\sqrt{\nu{1}{1}{\frac{1},{{{1}}}}}}}}}}}}}}}}}}}}}}}}}$	$♪ 디스플레이 스타일 ♪\frace ♪\nu \!+\!1}{2}}:\왼쪽(\i1\left\frac {\nu \!+\\\!1}{2}}\오른쪽)\!\\\\back \left\frac {\nu{2}}\오른쪽)\!+\\\ln {\sqrt {\nu }B\왼쪽({\frac {1}{1}2}},{\frac {\nu }{2}}\오른쪽)}$	$(-\displaystyle(-\fty,\fty)\,}$
삼각형	${\displaystyle f(x)={\begin{cases}{\frac {2(x-a)}{(b-a)(c-a)}}&\mathrm {for\ } a\leq x\leq c,\\[4pt]{\frac {2(b-x)}{(b-a)(b-c)}}&\mathrm {for\ } c<x\leq b,\\[4pt]\end{cases}}}$	${\displaystyle {\frac {1}{1}:{2}}+\ln {\frac {b-a}{2}}:}$	$디스플레이 스타일 [a,b]\, [a,b]\,}$
바이불	${\displaystyle f(x)={\frac {k}{\fractda ^{k-1}}x-1}\exp \frac{x^{x^{k}}}\오른쪽)}$	${\displaystyle {\frac {(k-1)\gamma _{E}{k}+\ln {\frac {\lambda }{k}+1}$	$(\displaystyle [0,\fty )\,}$
다변량 정규 분포	${\displaystyle f_{X}({\vec {x}})=}$ ${\displaystyle {\frac {\exp \left(-{\frac {1}{2}}({\vec {x}}-{\vec {\mu }})^{\top }\Sigma ^{-1}\cdot ({\vec {x}}-{\vec {\mu }})\right)}{(2\pi )^{N/2}\left \Sigma \right ^{1/2}}}}$	${\displaystyle {\frac {1}{2}}\ln\{(2\pi e)^{N}\det(\Sigma )\}}}$	${\displaystyle \mathb{R} ^{N}}$

차등 엔트로피 중 많은 것이 원산지다.^{[9]: 120–122}

변형

위에서 설명한 것처럼 차동 엔트로피는 이산 엔트로피의 모든 속성을 공유하지 않는다. 예를 들어, 차동 엔트로피는 음수일 수 있다. 또한 연속 좌표 변환에서는 불변성이 아니다. 에드윈 톰슨 제인즈는 사실 위의 표현이 유한한 확률 집합에 대한 표현식의 올바른 한계가 아니라는 것을 보여주었다.^{[10]: 181–218}

미분 엔트로피를 수정하면 이를 교정하기 위한 불변 측정 계수가 추가된다(이연성 점의 밀도 제한 참조). $m{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle m(x)}$이(가) 확률밀도로 더 제약되는$$ 경우, 그 결과 개념은 정보이론에서 상대 엔트로피라고 불린다.

${\displaystyle D(p m)=\int p(x)\log {\frac {p(x)}{m(x)}\,dx.}$

$위$의 차동 엔트로피의 정의는 $X{\displaystyle }$ ${\displaystyle$ $X}$ 범위를$$ X ${\displaystyle$ h$}$의 길이$$ $h{\displaystyle }$ ${\displaystyle$ h$}$의 $빈$으로 분할하여 얻을 수 있다. This gives a quantized version of ${\displaystyle X}$, defined by ${\displaystyle X_{h}=ih}$ if ${\displaystyle ih\leq X\leq (i+1)h}$. Then the entropy of ${\displaystyle X_{h}=ih}$ is^[2]

${\displaystyle H_{h}=-\sum _{i}hf(ih)\log(ih)-\sum hf(ih)\log(h)--\sum hf(h).}$

오른쪽의 첫 번째 항은 차동 엔트로피에 근접한 반면, 두 번째 항은 대략${\displaystyle }$- ${\displaystyle \log }$ ${\displaystyle }$( h${\displaystyle }$) ${\displaystyle -\log(h)}$이다$.$ 이 절차를 통해 연속 랜덤 변수의 이산적 의미에서의 엔트로피는 $\infty {\displaystyle \mathrm{}}$ ${\displaystyle \infty }$이어야 한다는 것을 알 수 있다$.$

참고 항목

• 정보 엔트로피
• 자기 정보
• 엔트로피 추정

참조

외부 링크

• "Differential entropy", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• "Differential entropy". PlanetMath.