쿨백-라이블러 발산

수학 통계에서 Kullback-Leibler diversity, $D{\displaystyle {}_{}}$ ${\displaystyle {\text{KL}}_{}}$(${\displaystyle P}$ ${\displaystyle \parallel }$ Q$){\displaystyle D_{\text{KL}}(P\parallel$ Q$)}($또는 상대적 엔트로피라고도 함)은 통계적 거리: 하나의 확률 분포 Q가 두 번째, 기준 확률 분포 P와 어떻게 다른지 측정값이다.^[1][2]Q로부터의 P의 차이를 간단히 해석하면 실제 분포가 P일 때 Q를 모델로 사용했을 때 예상되는 과도한 놀라움이다.거리가긴 하지만 가장 친숙한 형태의 거리인 미터법은 아니다: 두 분포에서 비대칭이며(정보의 변동과 대조적으로), 삼각 불평등을 만족시키지 못한다.대신 정보 기하학적으로 볼 때 그것은 발산이며 ^[3]거리 제곱의 일반화이며, 분포의 특정 등급(기존 지수 계열)에 대해서는 일반화된 피타고라스 정리(거리 제곱에 적용됨)를 만족시킨다.^[4]

단순 사례에서 상대 엔트로피 0은 해당 두 분포가 동일한 양의 정보를 가지고 있음을 나타낸다.그것은 정보 시스템의 상대적 (Shannon) 엔트로피의 특성화, 연속적인 시계열에서의 무작위성, 추론의 통계적 모델을 비교할 때의 정보 이득 등의 이론적 응용과 응용통계, 유동역학, 신경과학 및 생물정보학 등의 실용적 응용을 모두 가지고 있다.

소개 및 컨텍스트

두 $가지{\displaystyle }$확률 분포 P {\$displaystyle$ P$}$과 Q {\displaystyle $Q}$을(를) 고려하십시오$.$ $일반적$으로 P ${\displaystyle P}$은 데이터, 관측치 또는 측정된 확률 분포를 나타낸다$$.분포 $Q{\displaystyle }$ ${\displaystyle Q}$은(는) $대신{\displaystyle }$ P ${\displaystyle$ P}의 이론, $모델,$ 설명 또는 근사치를 나타낸다$$$.$그런 다음 Kullback-Leibler 차이점은 $P{\displaystyle }${\$displaystyle P$}에 최적화된 코드가 $아니라$ Q$${\$displaystyle Q$}에 최적화된 코드를 $사용$하여 P ${\displaystyle P}$의 샘플 인코딩에 필요한 비트 수의 평균 차이로 해석된다$.$ $P{\displaystyle }$ ${\displaystyle P}$ 및$$ Q ${\displays$}의 역할에 유의하십시오.$Tyle Q}$은(는) 예상-최대화(EM) 알고리즘과 ELBO(증거 하한) 계산과 같이 계산하기 쉬운 일부 상황에서 역전될 수 있다$$.

어원

상대 엔트로피 솔로몬 Kullback와 리처드 Leibler Kullback에 및에 의해;"H1의 차별의 평균 정보{\displaystyle H_{1}}과 H2{\displaystyle H_{2}}관찰당μ 1{\displaystyle \mu에서{1}}"[5]로 Leibler(1951년)이 하나 둘 확률 수준을 비교하고 있었다.sures${\displaystyle {\mu 1\mathrm{}}_{}}$,$\mu _{1},\mu _{2$ H ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{H\mathrm{}}_{}}$ ${\displaystyle {}_{}}$ ${\$}}는 측정 ${\displaystyle {\mu 1\mathrm{}}_{}}$,${\displaystyle {}_{}{\mu 2\mathrm{}}_{}}$ ${\$$2$}}(존중하게) 중에서 선택하는 가설이다$$.They denoted this by ${\displaystyle I(1:2)}$, and defined the "'divergence' between ${\displaystyle \mu _{1}}$ and ${\displaystyle \mu _{2}}$" as the symmetrized quantity ${\displaystyle J(1,2)=I(1:2)+$$I(2:1)$는 해롤드 제프리스가 1948년에 이미 정의하고 사용했던 것이다$.$^[6]Kullback(1959년)에서 대칭형식을 다시 "전원"이라고 하며, 각 방향의 상대적 엔트로피를 두 분포 사이의 "직접적 다이버전스"라고 부른다.^[7] Kullback은 차별 정보라는 용어를 선호했다.^[8]대칭적 차이가 삼각 불평등을 만족시키지 못하기 때문에 "분산"이라는 용어는 거리(금속)와 대조적이다.^[9]대칭 분산의 초기 사용과 다른 통계적 거리에 대한 수많은 참조가 Kullback(1959, 페이지 6–7, 1.3 분기)에 제시되어 있다.비대칭 "직접적 발산"은 Kullback-Leibler diversity로 알려지게 된 반면, 대칭적으로 표현된 "diversity"는 현재 Jeffreys diversity로 언급되고 있다.

정의

동일한 확률 공간($X {\$Q})에 정의된$$ 이산 확률 $분포{\displaystyle }$ P ${\displaystyle P$$}$ 및 $Q$ ${\$$displaystyle$ $Q$$}$에 대해$$Q ${\displaystyle Q}$에서 $P{\displaystyle }$ ${\displaystyle P}$까지의 상대 엔트로피는 다음과 같이 정의된다$$^[10].

${\displaystyle D_{\text{KL}(P\parallel Q)=\sum _{x\in {\mathcal {X}P(x)\log \left({\frac {P(x)}{Q(x)}}}\right).}$

에 해당하는

${\displaystyle D_{\cHL}(P\병렬 Q)=-\sum _{x\in {\mathcal {X}P(x)\log \left({\frac {Q(x)}{P(x)}}\right)}}}$

즉, 확률 $P{\displaystyle }$ ${\displaystyle$ $P}$과 Q ${\displaystyle Q}$ 사이의 로그 차이에 대한 기대값이다$.$ $여기$서 $기대치$는$$모든 x {\$displaystyle$ x$},$$Q{\displaystyle (x}$ ${\displaystyle )}$= ${\displaystyle 0}$ ${\displaystyle$ Q$(x)$에 대해서만 정의된다.$0}$은(는) $P{\displaystyle (}$ x${\displaystyle }$)${\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle P(x)=0}($절대 연속성)을 의미한다$$.$P{\displaystyle }$( ${\displaystyle x}$) ${\displaystyle P(x)}$이(가) 0일$$ 때마다 해당 용어의 기여는 0으로 해석되기 때문에

${\displaystyle \lim_{x\to 0^{+}x\log(x)=0.}$

연속 랜덤 변수의 $분포$ $P{\displaystyle }$ ${\displaystyle P}$ 및$$ Q ${\displaystyle Q}$의 경우 상대 엔트로피가 적분으로 정의된다.^{[11]: p. 55}

${\displaystyle D_{\cHL}(P\parallel Q)=\int_{-\inflt }^{\p(x)\log \left({\frac {p(x)}{q(x)}}\,dx}$

여기서 $p{\displaystyle }$ ${\displaystyle p}$ 및$$ $q{\displaystyle }$ ${\displaystyle$ $q$$}$은(는) $P{\displaystyle }$ ${\displaystyle P}$ 및 Q$$$${\$displaystyle$ Q$}$의 확률 밀도를 나타낸다$$$.$

보다 일반적으로 $P{\displaystyle }$ ${\displaystyle$ $P$$}$과 Q ${\displaystyle$ Q$}$이(가) 설정된 $X$에 대한 확률 측정값이고$,$ $P{\displaystyle }$ ${\displaystyle Q}$과$($와) 관련하여 P ${\$displaystyle Q$}$에서 P {\$displaystystyle$ P}까지의$상대$ 엔트로피가 절대적으로 $연속적$인$$$경우$$$ 로 정의된다.

${\displaystyle D_{\text{KL}(P\parallel Q)=\int_{\mathcal{X}\log \left({\frac {dP}{dQ}\right)\,dP,}$

여기서 $d{\displaystyle \frac{}{}}$ ${\displaystyle \frac{P}{}}$ ${\displaystyle \frac{d}{}}$ Q ${\$은(는) $Q{\displaystyle }$ ${\displaystyle Q}$에 대한 P ${\displaystyle P}$의 라돈-Nikodym 파생이며$,$ 우측에 표현이 존재한다는 것을 전제로 한다.동등하게 (체인 규칙에 의해), 이것은 다음과 같이 기록될 수 있다.

${\displaystyle D_{\dQ}}{dQ}}{\dQ}}(P\parallel Q)=\int _{\mathcal{X}\log({\frac {dP}{dQ}\오른쪽){\frac {dP}{dQ}\,dQ,}}$

which is the entropy of ${\displaystyle P}$ relative to ${\displaystyle Q}$. Continuing in this case, if ${\displaystyle \mu }$ is any measure on ${\displaystyle {\mathcal {X}}}$ for which the densities ${\displaystyle p={\frac {dP}{d\mu }}}$ and ${\displaystyle$$Q={\frac$ {$dQ}{d\$$mu$$}}}$이(가) 존재하며$$($P$ ${\displaystyle P}$ 및 Q ${\displaystyle$$Q}$에 대해 절대적으로 연속됨을$$ 의미),$$ Q ${\displaystyle$ $Q$$}$에서 $P{\displaystyle }$ ${\displaysty$ P$}$까지의 상대 엔트로피는 다음과 같이 주어진다$$.

${\displaystyle D_{\text{KL}(P\parallel Q)=\int_{\mathcal{X}p\log \left({\frac {p}{q}\right)\,d\mu .}$

${\displaystyle \mu }$은(는) ${\displaystyle 항상}$ $\mu {\displaystyle }$= ${\displaystyle \frac{1}{}}$ ${\displaystyle 2}$( P${\displaystyle }$+ $){\$}2$}}\좌(P+Q\오른쪽)$로 취할$$ 수 있으므로, 밀도의 존재를 가정할 때 일반성의 손실은 없다는 점에 유의하십시오$.$정보가 비트 단위로 측정되는 경우 이 공식의 로그는 베이스 2로, 정보가 nats로 측정되는 경우$$ 베이스 $e{\displaystyle }$ ${\displaystyle e}$로 측정된다.상대 엔트로피를 포함하는 대부분의 공식은 로그의 기저에 관계없이 유지된다.

$D$ ${\displaystyle {\text{KL}}_{}P}$ ${\displaystyle \parallel }$ $){\displaystyle D_{\text{KL}}(P\parallel Q)}$을(를) 단어로 참조하기 위한 다양한 규약이 존재한다.흔히 $P{\displaystyle }$ ${\displaystyle P}$과 Q ${\displaystyle Q$ 사이의 차이를 일컫지만, 이것은 관계에서 근본적인 비대칭성을 전달하지 못한다.때로는 이 글에서와 같이 $Q{\displaystyle }$ ${\displaystyle Q$$}$에서 P ${\displaystyle P}$이(가) $분리$되거나$$Q {\$displaystyle$ $}$에서 P {\$displaystyle$ P$}$로 차이 나는 것으로 설명할 수 있다$.$This reflects the asymmetry in Bayesian inference, which starts from a prior ${\displaystyle Q}$ and updates to the posterior ${\displaystyle P}$. Another common way to refer to ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ is as the relative entropy of ${\displaystyle P}$ with respect to ${\$$디스플레이$ 스타일 Q$}$.

기본 예

Kullback은^[2] 다음과 같은 예를 제시한다(표 2.1, 예 2.1).P와 Q를 표와 그림에 표시된 분포가 되도록 한다.P는 그림 왼쪽의 분포로, $N{\displaystyle }$= ${\displaystyle 2}$ ${\displaystyle N=$2}$및$ p$$${\displaystyle }$= $0{\displaystyle .4}$ ${\displaystyle p=0.$4$\}$을(를) 갖는 이항 분포로, Q는 그림 오른쪽의 분포로, $가능$한 세 가지 결과 x${\displaystyle }$= ${\displaysty x=},$ 1, 2(예: $X{\displaystyle \mathcal{}}$=${\displaystyle }${${\displaystyle 0,}$ ${\displaystyle 1}$, 2, 2)를)로 한다.${\displaystyle \}}$ ${\displaystyle {\mathcal {X}=\{0,1,2\}}}),$ 각각 확률 $p{\displaystyle }$= ${\displaystyle 1\mathrm{}}$/ 3 ${\displaystyle p=1/3$

${\displaystyle {\begin{array}{c ccc}\hline x&0&1&2\\\hline {\text{Distribution }}P(x)&{\frac {9}{25}}&{\frac {12}{25}}&{\frac {4}{25}}\\{\text{Distribution }}Q(x)&{\frac {1}{3}}&{\frac {1}{3}}&{\frac {1}{3}}\\\hline \end{array}}}$

상대 엔트로피 $D{\displaystyle {}_{}}$ ${\displaystyle {\text{KL}}_{}P}$ ${\displaystyle \parallel }$ $){\displaystyle D_{\text}{{\cL}(P\parallel Q)}$ 및$$ $D{\displaystyle {}_{}}$ ${\displaystyle {\text{KL}}_{}Q}$ ${\displaystyle \parallel }$ $){\displaysty D_{\text}(Q\parallel$ P)}은 다음과 같이 계산한다$.$이 예는 nats에서 결과를 얻기 위해 지정된 ln인 base e와 함께 자연 로그를 사용한다(정보 단위 참조).

${\displaystyle {\reasoned}D_{{\text{KL}(P\병렬 Q)&=\sum _{x\in {\mathcal {X}P(x)\ln \left({\frac {P(x)}{Q(x)}}\right)\\&={\frac {9}{25}}\ln \left({\frac {9/25}{1/3}}\right)+{\frac {12}{25}}\ln \left({\frac {12/25}{1/3}}\right)+{\frac {4}{25}}\ln \left({\frac {4/25}{1/3}}\right)\\&={\frac {1}{25}}\왼쪽(32\ln(2)+55\ln(3)-50\ln(5)\오른쪽)\약 0.0852996\end{aigned}}}}}$

${\displaystyle {\reasoned}D_{{\text{KL}}(Q\병렬 P)&=\sum _{x\in {\mathcal {X}Q(x)\ln \left({\frac {Q(x)}}{P(x)}}\right)\\&={\frac {1}{3}}\ln \left({\frac {1/3}{9/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{12/25}}\right)+{\frac {1}{3}}\ln \left({\frac {1/3}{4/25}}\right)\\&={\frac{1}{3}\left4\ln(2)-6\ln(3)+6\ln(5)\right)\약 0.097455\end{aigned}}}}$

해석

$Q{\displaystyle }$ ${\displaystyle Q}$에서 $P{\displaystyle }$ ${\displaystyle P}$까지의 상대 엔트로피는 $종종{\displaystyle {}_{}}$ ${\displaystyle {\text{DKL}}_{}}$(${\displaystyle P}$ ${\displaystyle \parallel }$ Q$){\displaystyle D_{\text{KL}(P\parallel Q)}$로 표시된다$.$

머신러닝의 맥락에서 ${\displaystyle \mathrm{DKL}}$(${\displaystyle P}context{\displaystyle {}_{}}$Q ){\$displaystyle D_{\text{KL}(P\parallel$ Q$)}$은 현재 $사용$되고 있는 Q ${\displaystyle Q}$ 대신 P ${\displaystyle P}$을($P{\displaystyle }$\playstylaralleline Q)를 사용한다면$$ 달성되는 정보 이득이라고 하는 경우가$$ 많다.정보이론과 유추하여 $Q{\displaystyle }$ ${\displaystyle Q}$에 관하여$$ $P{\displaystyle }$ ${\displaystyle$ Q$}$의 상대 엔트로피라고 하며$,$ 코딩 이론의 맥락에서, $샘플$로부터 코딩에 필요한 추가 비트의 예상 수를 측정하여 ${\displaystyle {\text{DKL}}_{}}$(${\displaystyle P}$ ${\displaystyle \parallel }$ $){\text{KL}(P\paralaralarallelarlel Q)$을 구성할$$ 수 있다.${\displaystyle }$$P{\displaystyle }$ ${\displaystyle P$에 최적화된 코드 대신 Q ${\displaystyle Q}$에 최적화된 코드를 사용하는$$ P ${\displaystyle P}$ .

베이시안 추론의 언어로 표현된 $D{\displaystyle {}_{}}$ ${\displaystyle {\text{KL}}_{}P}$ ${\displaystyle \parallel }$ Q$){\displaystyle D_{\text{KL}(P\parallel Q)}$은 자신의 신념을 이전의 확률 $분포{\displaystyle }$ Q ${\displaystyle Q}$에서 후위 확률 분포 $P{\displaystyle }$ ${\displaystyle P$로 수정하여 얻은 정보를 측정한 값이다$$.Q{Q\displaystyle}은 일반적으로 이론, 모드를 나타낼 때 Q{Q\displaystyle}응용 프로그램에서 P{P\displaystyle}.[12]과 가까워지려고 정보를 금액, P{P\displaystyle}일반적으로, 데이터, 관찰, 또는 정확하게 계산된 이론적 분포의"진정한"분포를 나타냅니다.l, d에스크립션 또는 $P{\displaystyle }$ ${\displaystyle P}$의 근사치$.$ P ${\displaystyle P}$에 가장 근접한$$ $분포{\displaystyle }$ Q ${\displaystyle Q$}를 찾기 위해 KL 분산을 최소화하고 정보 투영을 계산할 수 있다$.$

통계적 거리지만 가장 친숙한 형태의 거리인 미터법이 아니라 그 대신 발산이다.^[3]지표가 대칭적이고 삼각형 불평등을 만족시키는 선형 거리를 일반화하는 반면, 다이버전스는 비대칭적이고 거리 제곱을 일반화하며, 어떤 경우에는 일반화된 피타고라스 정리를 만족한다.일반적으로 ${\displaystyle {\text{DKL}}_{}P}$ ${\displaystyle \parallel }$ Q$){\displaystyle D_{\text{KL}}(P\parallel$ Q$)}$은(는) ${\displaystyle {\text{DKL}}_{}Q}$ ${\displaystyle \parallel }$ $){\displaystyle D_{\text{KL}}(Q\paralarallel P$과 같지 않으며$$ 비대칭성이 형상의 중요한 부분이다.^[3]상대 엔트로피의 극소형 형식, 특히 헤시안 형식은 피셔 정보 측정기준과 동일한 측정기준 텐서를 제공한다. § 피셔 정보 측정기준을 참조한다.상대 엔트로피는 지수 패밀리에 대해 일반화된 피타고라스 정리(지오메트리로 해석되는 다지관)를 만족시키며, 이것은 예를 들어 정보 투영과 최대우도 추정에 의한 기하학적 수단으로 상대 엔트로피를 최소화할 수 있다.^[4]

상대 엔트로피는 브레그만 다이버전스(f-divergenes)의 종류뿐만 아니라 F-divergenes(f-divergenes)라고 불리는 더 광범위한 통계적 다이버전스(divergenes)의 특수한 경우로서, 두 등급의 구성원인 확률에 대한 그러한 차이만이 유일하다.

Arthur Hobson은 상대 엔트로피가 일부 원하는 특성을 만족시키는 확률 분포 사이의 차이의 유일한 척도라는 것을 증명했는데, 이는 엔트로피의 일반적으로 사용되는 특성화에 나타나는 분포에 대한 규범적 확장이다.^[13]따라서 상호 정보는 Kullback-Leibler의 분리에 따라 정의될 수 있기 때문에 특정 관련 조건을 준수하는 유일한 상호 의존의 척도다.

동기

정보 이론에서 Kraft-McMillan 정리는 가능성 $집합{\displaystyle }$ 중 하나의$$ 값 ${\displaystyle x_{}}$ $i{\displaystyle {}_{}}$ ${\displaystyle x_$${i}$을 식별하기 위한 메시지를 코딩하기 위한 직접 해독 가능한 코드화 체계가 암시적 확률 분포 $q{\displaystyle }$( x ${\displaystyle i_{}}$)${\displaystyle }$= 2 -${\displaystyle {{}_{}}^{}}$ ${\displaystyle {i_{}}^{}}$ ${\$$}$을(으)로 볼 수 있음을$$ 확립한다.$X{\displaystyle }$ ${\\displaystyle X}$ 위에$$ 있는 $splaystyle q(x_{i}=2^{-\ell _{i$$\}\}\}.$ ${\displaystyle {여기}_{}}$서 {$$i {\$displaystyle \ell _{$i}}}은(는) ${\displaystyle x_{}}$i {\$displaystystystyle x_{i}$에 대한 코드 길이입니다$$.따라서 상대 엔트로피는 실제 분포 $P{\displaystyle }$ ${\displaystyle$ P$}$에 기초한 코드를 사용하는 것과 비교하여 주어진 (잘못된) 분포 $Q{\displaystyle }$ ${\displaystyle Q}$에 최적인 코드를 사용할 경우 전달해야 하는 기준점당 예상 추가 메시지 길이로서 해석할 수 있다$.$

${\displaystyle {\reasoned}D_{\text{KL}}(P\parallel Q)&=\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{q(x)}}-\sum _{x\in {\mathcal {X}}}p(x)\log {\frac {1}{p(x)}}\\[5pt]&=\mathrm {H} (P,Q)-\mathrm {H} (P)\end{aligned}}}$

where ${\displaystyle \mathrm {H} (P,Q)}$ is the cross entropy of ${\displaystyle P}$ and ${\displaystyle Q}$, and ${\displaystyle \mathrm {H} (P)}$ is the entropy of ${\displaystyle P}$ (which is the same as the cross-entropy of P with itself).

상대 엔트로피 $D{\displaystyle {}_{}}$ ${\displaystyle {\text{KL}}_{}}$(${\displaystyle P}$ ${\displaystyle \parallel }$ $){\displaystyle D_{\text{KL}}(P\parallel$ Q$)}$은 분포 Q가 분포 P로부터 얼마나 떨어져 있는지를 나타내는 척도로 기하학적으로 생각할 수 있다$$.기하학적으로 그것은 간격이다: 비대칭적이고 일반화된 형태의 거리 제곱이다.교차 엔트로피 $H{\displaystyle }$(${\displaystyle P}$ ${\displaystyle ,}$ $){\displaystyle$ H ($P,Q)}$는 그 자체로 그러한 측정(${\displaystyle \mathrm{공식적}}$으로 ${\displaystyle \mathrm{손실}}$ 함수)이지만$$, $H{\displaystyle }$(${\displaystyle }$P${\displaystyle }$) ${\displaystyle =:}$ ${\displaystyle H}$( ${\displaystyle P}$) = ${\displaystyle$H$(P, P)=:H(P)}$는 0이 아니기$$ 때문에 거리로 생각할 수 없다.$이것$은 H${\displaystyle }$( ${\displaystyle P}$) ${\디스플레이$ 스타일 $H(P)}$을(를) 빼서$$ $D{\displaystyle {}_{}}$ ${\displaystyle {\text{KL}}_{}}$(${\displaystyle P}$ ${\displaystyle \parallel }$ Q${\displaystyle }$) ${\디스플레이$ 스타일 $D_{\text{KL}}}}}$이($가) 거리$ 개념과 더 밀접하게 일치하도록$$ 함으로써 고칠 수 있다.결과 함수는 비대칭이며, 이 함수는 대칭화될 수 있지만(§ 대칭 분기 참조), 비대칭 형식이 더 유용하다.기하학적 해석에 대한 자세한 내용은 § 해석을 참조하십시오.

상대 엔트로피는 큰 편차 이론에서 "레이트 함수"와 관련이 있다.^[14][15]

특성.

• 상대 엔트로피는 항상 음성이지만

${\displaystyle D_{\text}{KL}(P\병렬 Q)\geq 0,}$

$D{\displaystyle {}_{}}$ ${\displaystyle {\text{KL}}_{}}$(${\displaystyle P}$ ${\displaystyle \parallel }$ Q$){\displaystyle D_{\text{KL}}(P\parallel Q)$이 거의 모든 곳에서 $P{\displaystyle }$= ${\displaystyle Q}$ ${\displaystyle P=Q}$이(가) 0이면 Gibbs의 불평등이라고 알려진 결과.The entropy ${\displaystyle \mathrm {H} (P)}$ thus sets a minimum value for the cross-entropy ${\displaystyle \mathrm {H} (P,Q)}$, the expected number of bits required when using a code based on ${\displaystyle Q}$ rather than ${\displaystyle P}$; and the Kullback–Leibler divergence therefore rep"참" 분포 $P{\displaystyle }$ ${\displaystyle P}$이(가) 아닌 확률 $분포{\displaystyle }$ Q ${\displaystyle Q$에 해당하는 코드가 사용되는 경우$$$X{\displaystyle }$ ${\displaystyle X}$에서 도출된 $값{\displaystyle }$ x$${\$displaystyle x$}을(를) 식별하기 위해 전송되어야 하는 추가 비트의 예상 개수를 유감스럽게 여긴다$.$

• 일반 사례에 대한 상한은 존재하지 않는다.단, $P{\displaystyle }$ ${\displaystyle P}$과 Q$${\$displaystyle Q}$이(가) 동일한 이산수량을 분포하여 구축된 두 개의 이산 확률 분포인 경우, ${\displaystyle {\text{DKL}}_{}P}$ ${\displaystyle \parallel }$ Q $){\displaystyle D_{\text{KL}(P\paralarallelarlel Q)}$의 최대값을 계산할 수 있는$$ 것으로 나타났다.^[16]

• 상대 엔트로피는 연속적인 분포에 대해 잘 정의되어 있으며, 더욱이 모수 변환에서는 불변한다.For example, if a transformation is made from variable ${\displaystyle x}$ to variable ${\displaystyle y(x)}$, then, since ${\displaystyle P(x)\,dx=P(y)\,dy}$ and ${\displaystyle Q(x)\,dx=Q(y)\,dy}$ the relative entropy may be rewritten:

${\displaystyle {\reasoned}D_{\text{KL}}(P\parallel Q)&=\int _{x_{a}}^{x_{b}}P(x)\log \left({\frac {P(x)}{Q(x)}}\right)\,dx\\[6pt]&=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)\,{\frac {dy}{dx}}}{Q(y)\,{\frac {dy}{dx}}}}\right)\,dy=\int _{y_{a}}^{y_{b}}P(y)\log \left({\frac {P(y)}{Q(y)}}\right)\,dy\end{aligned}}}$

여기서 $y{\displaystyle {}_{}}$ ${\displaystyle a_{}}$= ${\displaystyle {}_{}}$(${\displaystyle {}_{}{x}_{}}$ ) ${\displaystyle y_{a}=y(x_{a})}$와 ${\displaystyle y_{}}$= ${\displaystyle y(}$ ${\displaystyle {}_{}}$ ${\displaystyle b_{}}$) ${\displaystyle y_{b}=y(x_{b$ 변환이 연속적이라고 가정했지만, 이럴 필요는 없다.$이것$은 x ${\displaystyle x}$이(가) 차원 변수인 경우 $P{\displaystyle }$(${\displaystyle x}$ ${\displaystyle P(x)}$ 및$$ $Q{\displaystyle (x)}$ ${\displaystyle$ $Q$$(x)}$이(가) 치수가 없는$$ 경우(예: P ($x)\dx})$가 치수되기 때문에$$ 상대 엔트로피가 치수 일관적인 양을 산출한다는 것을 보여준다.로그 용어의 주장은 반드시 그렇듯이 차원이 없고 유지된다.따라서 정보 이론^[17](자체 정보나 샤논 엔트로피 등)에서 일부 다른 속성보다 더 근본적인 양으로 볼 수 있는데, 이는 비구체 확률에 대해 정의되지 않거나 음수가 될 수 있다.

• 상대 엔트로피는 섀넌 엔트로피와 거의 같은 방식으로 독립 분포에 첨가된다.$P{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$, ${\displaystyle {}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$${\displaystyle \mathrm{P\_}}$${2$}}이 독립된 분포인$$ 경우, 접합 밀도 ${\displaystyle P}$( x${\displaystyle }$, y${\displaystyle }$)${\displaystyle }$= P ${\displaystyle {1\mathrm{}}_{}}$( ${\displaystyle x}$) ${\displaystyle {P\mathrm{}}_{}}$ ${\displaystyle {}_{}}$( ${\displaystyle y}$) ${\displaystyle P(x,y)=$$P_{1}(x)P_{2}(y)}$및 $Q{\displaystyle }$, ${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}{}_{}}$ ${\displaystyle {2\mathrm{}}_{}}$ ${\$}}: 이와 마찬가지로$$.

${\displaystyle D_{\text{KL}(P\parallel Q)=D_{\text{{KL}(P_{1}\parallel Q_{1})+D_{\text}(P_{2}\parallel Q_{2}).}$

• Relative entropy ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ is convex in the pair of probability mass functions${\displaystyle (p,q)}$, i.e. if ${\displaystyle (p_{1},q_{1})}$ and ${\displaystyle (p_{2},q_{2})}$ are two pairs of probability mass func그럼, tions, then, then

  ${\displaystyle D_{\text{KL}}(\lambda p_{1}+(1-\lambda )p_{2}\parallel \lambda q_{1}+(1-\lambda )q_{2})\leq \lambda D_{\text{KL}}(p_{1}\parallel q_{1})+(1-\lambda )D_{\text{KL}}(p_{2}\parallel q_{2}){\text{ for }}0\leq \lambda \leq 1.}$

변동 추론을 위한 이중성 공식

다음 결과는 돈스커와 바라단 때문에 ^[18]돈스커와 바라단의 변동 공식으로 알려져 있다.

Theorem [Duality Formula for Variational Inference] Let ${\displaystyle \Theta }$ be a set endowed with an appropriate ${\displaystyle \sigma }$-field ${\displaystyle {\mathcal {F}}}$, and two probability measures ${\displaystyle P}$ and ${\displaystyle Q}$, which formulate two probability spaces ${\displaystyle (\mathrm{\Theta }}$${\displaystyle (\Theta ,{\mathcal {F}},P)}$ and ${\displaystyle (\Theta ,{\mathcal {F}},Q)}$ with ${\displaystyle Q\ll P}$. (${\displaystyle Q\ll P}$ indicates that ${\displaystyle Q}$ is absolutely continuous with respect to ${\displaystyle P}$.) Assume that there isa common dominating probability measure ${\displaystyle \lambda }$ such that ${\displaystyle P\ll \lambda }$ and ${\displaystyle Q\ll \lambda }$. Let ${\displaystyle h}$ denote any real-valued random variable on ${\displaystyle (\Theta ,{\mathcal {F}},P)}$ that satisfies ${\displaystyle h\in L_1}$${\displaystyle {}_{}(P}$) ${\displaystyle h\in L_{1}(P$ 그러면 다음과 같은 평등이 유지된다.

${\displaystyle \log E_{P}[\exp h]={\text{sup}_{Q\ll P}\{E_{Q}[h]-D_{\text{KL}}(Q\parallel P)\}}.}$

또한, 우측의 우수는 그것이 지탱하는 경우에만 얻어진다.

${\displaystyle {\frac {q(\theta )}{p(\theta )}}}={\frac {\exp h(\exp h)}{E_{P}[\exp h]},},}$

almost surely with respect to probability measure ${\displaystyle Q}$, where ${\displaystyle p(\theta )=dP/d\lambda }$ and ${\displaystyle q(\theta )=dQ/d\lambda }$ denote the Radon-Nikodym derivatives of the probability measures ${\displaystyle P}$ and ${\displaystyle Q$$\lambda {\displaystyle }$ ${\displaystyle \lambda }$에 대한$$ $\}.$

증명. 라돈-니코딤 정리 및 젠센의 불평등을 이용한 측정-이론적 증거를 찾아보자.

For a short proof, let ${\displaystyle q^{*}(\theta )=p(\theta ){\frac {\exp h(\theta )}{E_{P}[\exp h]}}}$ and ${\displaystyle Q^{*}=q^{*}d\lambda }$. By simple calculations we have

${\displaystyle D_{\text{KL}(Q\병렬 Q^{*})-D_{\text{KL}(Q\병렬 P)=-E_{Q}[h]+\log E_{P}[\exp h].}$

그러므로

${\displaystyle E_{Q}[h]-D_{\text{KL}}(Q\parallel P)=\log E_{P}[\exp h][\exp h][\exp h][\exp h]]]\log E_{P},}$

여기서 마지막 불평등은 $D{\displaystyle {}_{}}$ ${\displaystyle {\text{KL}}_{}}$(${\displaystyle {}^{}}$ ${\displaystyle \parallel }$ Q ${\displaystyle {\ast }^{}}$) ${\displaystyle \ge }$ ${\displaystyle 0}$ ${\displaystyle D_{\text{\kL}(Q\parallel Q^{*})$에서 따르며$,$ $Q{\displaystyle }$= ${\displaystyle {}^{}}$= ${\$$Q$^{*}}인 경우에만 평등이 발생한다$.$ 결론은 다음과 같다.

예

다변량 정규 분포

Suppose that we have two multivariate normal distributions, with means ${\displaystyle \mu _{0},\mu _{1}}$ and with (non-singular) covariance matrices ${\displaystyle \Sigma _{0},\Sigma _{1}.}$ If the two distributions have the same dimension, ${\displaystyle k}$, then the relative entropy b분포 간은 다음과 같다.^{[20]: p. 13}

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1}\right)={\frac {1}{2}}\left(\operatorname {tr} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)-k+\left(\mu _{1}-\mu _{0}\right)^{\mathsf {T}}\Sigma _{1}^{-1}\left(\mu _{1}-\mu _{0}\right)+\ln \left({\frac {\det \Sigma _{1}}{\det \Sigma _{0}}}\right)\right).}$

마지막 항을 제외한 모든 항은 밀도 함수의 요인 중 하나이거나 자연적으로 발생하는 표현식의 base-e 로그이기 때문에 마지막 항의 로그는 base e로 가져가야 한다.따라서 이 방정식은 nats로 측정된 결과를 제공한다.위의 전체 식을 ${\displaystyle \ln }$ ${\displaystyle }$( ${\displaystyle 2}$) ${\displaystyle \ln(2)}$로 나누면 비트의 차이가 발생한다$$.

특별한 경우 및 변동 추론의 공통적인 양은 대각선 다변량 정규 분포와 표준 정규 분포 사이의 상대적인 엔트로피(평균 0과 단위 분산):

${\displaystyle D_{\text{KL}}\left({\mathcal {N}}\left(\left(\mu _{1},\ldots ,\mu _{k}\right)^{\mathsf {T}},\operatorname {diag} \left(\sigma _{1}^{2},\ldots ,\sigma _{k}^{2}\right)\right)\parallel {\mathcal {N}}\left(\mathbf {0} ,\mathbf {I} \right)\right)={1 \over 2}\sum _{i=1}^{k}\left(\sigma _{i}^{2}+\mu _{i}^{2}-1-\ln \left(\sigma _{i}^{2}\right)\right).}$

메트릭스 관련

상대적 엔트로피는 통계적 거리인 반면 확률분포의 공간에 대한 지표가 아니라 발산이다.^[3]지표가 대칭적이고 삼각형 불평등을 만족시키는 선형 거리를 일반화하는 반면, 다이버전스는 일반적으로 비대칭적이고 거리 제곱을 일반화하며, 어떤 경우에는 일반화된 피타고라스 정리를 만족한다.In general ${\displaystyle D_{\text{KL}}(P\parallel Q)}$ does not equal ${\displaystyle D_{\text{KL}}(Q\parallel P)}$, and while this can be symmetrized (see § Symmetrised divergence), the asymmetry is an important part of the geometry.^[3]

확률 분포 공간에 위상을 생성한다.좀 더 구체적으로$,{\displaystyle }$ 만약 {${\displaystyle {P\mathrm{}}_{}}$ 1,${\displaystyle {}_{}{P\mathrm{}}_{}}$ 2${\displaystyle {}_{}}$,${\displaystyle \dots \}}$ ${\displaystyle$\{$P_{1},P_{2},\ldots$\}}이(가) 다음과 같은 분포의 순서라면$$,

${\displaystyle \lim_{n\to \inflt }D_{\text{KL}(P_{n}\병렬 Q)=0}$

라고 한다.

${\displaystyle P_{n}{\x오른쪽 화살표 {D}Q.}$

핀커의 불평등에는 다음과 같은 것이 수반된다.

${\displaystyle P_{n}{\x오른쪽 화살표 {D}P\오른쪽 화살표 P_{n}{\x오른쪽 화살표 {TV}P,}$

여기서 후자는 전체 변동의 일반적인 수렴을 의미한다.

Fisher 정보 메트릭

상대 엔트로피는 피셔 정보 메트릭과 직접 관련이 있다.이것은 다음과 같이 명시할 수 있다.Assume that the probability distributions ${\displaystyle P}$ and ${\displaystyle Q}$ are both parameterized by some (possibly multi-dimensional) parameter ${\displaystyle \theta }$. Consider then two close by values of ${\displaystyle P=P(\theta )}$ and ${\displaystyle Q=P(\theta _{$$0}}}$ 매개 변수 $\theta {\displaystyle }$ ${\displaystyle \theta}$이(가) 매개 변수 값 ${\displaystyle {\theta \mathrm{}}_{}}$ 0 ${\$과(와) 소량만 차이가$$ 나도록$$$.$ 구체적으로는 (아인슈타인 합계 협약 사용)

${\displaystyle P(\theta )=P(\theta _{0})+\Delta \theta _{j}\,P_{j}(\theta _{0}+\cdots }}}}}$

with ${\displaystyle \Delta \theta _{j}=(\theta -\theta _{0})_{j}}$ a small change of ${\displaystyle \theta }$ in the ${\displaystyle j}$ direction, and ${\displaystyle P_{j}\left(\theta _{0}\right)={\frac {\partial P}{\partial \t$$헤타 _{j}}(\theta _{0})$ 확률$$ 분포의 해당 변화율.Since relative entropy has an absolute minimum 0 for ${\displaystyle P=Q}$, i.e. ${\displaystyle \theta =\theta _{0}}$, it changes only to second order in the small parameters ${\displaystyle \Delta \theta _{j}}$. More formally, as for any minimum, the first derivatives of the divergence vanish

$왼쪽.{\frac {\partial }{\partial \theta _{j}}\오른쪽 _{\theta={0}D_{0}{0}D_{0}\text{KL}}(P(\teta )\parallel P(\ta _{0})=0,},}$

그리고 테일러 확장에 의해 하나는 2차까지 주문을 받는다.

${\displaystyle D_{\text{KL}(P(\theta )\병렬 P(\theta _{0})={\frac {1}{1}:{2}}\,\Delta \theta _{j}\,\Delta \{k}\,g_{jk}(\theta _{0}}+\cdots }}}}}$

헤시안 매트릭스의 분기점

${\displaystyle g_{jk}(\theta _{0}=\왼쪽).{\frac {\partial ^{2}}:{\partial \theta _{j}\,\partial \theta _{k}}\오른쪽 _{\theta =\{0}D_{0}D_{\text}}}}(P(\ta _{0})}}$

양수 반미완성이어야 한다.$\theta {\displaystyle {}_{}}$ ${\$을(를) 다양하게(그리고 하위 인덱스 0을) 내버려두면, $헤시안{\displaystyle {}_{}}$ g ${\displaystyle j_{}{k}_{}}$ (${\displaystyle }$))$${\$displaystyle g_{jk}(\theta )}}}}$은 피셔 정보 메트릭이라고 하는 parameter 매개 변수 공간에 (가 퇴보하는) 리만 메트릭을 정의한다$$.

피셔 정보 메트릭 정리

$p{\displaystyle {}_{}}$( ${\displaystyle x_{}}$ ,${\displaystyle {\rho }_{}}$) ${\$이(가) 다음과 같은 규칙성 조건을 만족하는$$ 경우:

${\displaystyle {\frac {\partial \log(p)}{\partial \rho }},{\frac {\partial ^{2}\log(p)}{\partial \rho ^{2}}},{\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}}$ exist,

${\displaystyle {\begin{aligned}\left {\frac {\partial p}{\partial \rho }}\right &<F(x):\int _{x=0}^{\infty }F(x)\,dx<\infty ,\\\left {\frac {\partial ^{2}p}{\partial \rho ^{2}}}\right &<G(x):\int _{x=0}^{\inful }G(x)\,dx<\inflit \\\왼쪽 {\frac {\partial ^{3}\log(p)}{\partial \rho ^{3}}}\right &<H(x):\int _{x=0}^{\infit }p(x,0)H(x)\,dx<\xi <\infit \ended}}}}}$

여기서 ξ은 ρ과 독립적이다.

$왼쪽.\int _{x=0}^{\inflit }{\frac {\frac {\frac(x,\rho )}{\propert \rho }}}}}{\rho =0}\,dx=\왼쪽.\int _{x=0}^{\inflit }{\frac {\fract ^{2}p(x,\rho )}{\not \rho ^{2}}}\오른쪽 _{\rho=0}\,dx=0}$

다음:

${\displaystyle {{D}(p(x,0)\병렬 p(x,\rho )={\frac {c\rho ^{2}}+{{2}}+{\mathcal {O}\{3}\오른쪽){\text{}}}}\rho \to.}$

정보의 변동

또 다른 정보-이론적 지표는 정보의 변화로, 대략 조건부 엔트로피의 대칭이다.이산 확률 공간의 파티션 집합에 대한 메트릭이다.

정보 이론의 다른 양과의 관계

다른 많은 양의 정보이론은 특정 사례에 대한 상대적 엔트로피의 적용으로 해석될 수 있다.

자기 정보

신호, 무작위 변수 또는 사건의 정보 내용이라고도 하는 자체 정보는 주어진 결과 발생 확률의 음수 로그로 정의된다.

이산 랜덤 변수에 적용할 경우, 자기 정보는 다음과^{[citation needed]} 같이 표현될 수 있다.

${\displaystyle \operatorname {I} }(m)=D_{\text{KL}\left(\delta _{\text{im}}\parallel \{p_{i}\}\오른쪽),}$

${\displaystyle \mathrm{확률}}$ 분포 $P{\displaystyle }$ (i ) ${\displaystyle i=m}$의 확실성을 나타내는 Kronecker 델타에서 확률$$ 분포 P ${\displaystyle (i}$) ${\displaystyle P$$(i)}$의 상대 엔트로피입니다${\displaystyle .}$ 즉, $확률{\displaystyle }$ 분포 P${\displaystyle }$(${\displaystyle i)}$ ${\displaystystyle i$$}$을 식별하기 위해 전송해야 하는 추가 비트 수입니다.$s{\displaystyle }$ 수신기가 사용할 수 있지만, i${\displaystyle }$= ${\displaystyle m}$ ${\displaystyle i=m}$은(는) 사실이 아니다$.$

상호정보

상호 정보,

${\displaystyle {\begin{aigned}\operatorname {I}(X;Y)&=D_{\text{KL}(P(X,Y)\병렬 P(X)P(Y)\[5pt]&gt;=\operatorname {E} _{X}\{D_{\text{KL}}(P(Y\mid X)\parallel P(Y)\}\[5pt]&)=\operatorname {E} _{Y}\{D_{\text}{KL}(P(X\mid Y)\병렬 P(X)\}\end{aigned}}}}}}}$

is the relative entropy of the product ${\displaystyle P(X)P(Y)}$ of the two marginal probability distributions from the joint probability distribution ${\displaystyle P(X,Y)}$ — i.e. the expected number of extra bits that must be transmitted to identify ${\displaystyle X}$ and ${\displaystyle$공동 분포 대신 한계 분포만 사용하여 코드화된 경우$$ $Y}$마찬가지로, 관절 $확률{\displaystyle }$ P${\displaystyle }$( ${\displaystyle X}$, Y${\displaystyle }$) ${\displaystyle P(X,Y)}$이(가) 알려진$$ 경우, $X{\displaystyle }$ ${\displaystyle X}$의 값이 수신기에 아직 알려지지 않은 $경우$$$ Y ${\displaysty$ Y}을(를$)$ 식별하기 위해 평균적으로 전송되어야 하는 추가 비트의 예상 수입니다.

섀넌 엔트로피

섀넌 엔트로피,

${\displaystyle {\begin}\mathrm {H}(X)&=\operatorname {E} \left[\operatorname {I} _{X}(x)\right]\\\\&=\log(N)-D_{\text{KL}}\왼쪽(p_{X}(x)\병렬 P_{U}(X)\오른쪽)\끝{정렬}}}}$

$N{\displaystyle }$ ${\displaystyle N}$에서 X {\$displaystyle X}$을(를) 식별하기 위해 전송해야 하는 비트 수입니다. $X{\displaystyle }$ ${\displaystyle$ X$}$, ${\displaystyle P_{}}$ U${\displaystyle {}_{}}$( ${\displaystyle X}$) ${\displaystyle P_{U}(X$의 랜덤 변수에 대한 균등 분포의 상대 엔트로피는 줄임.${\displaystyle P(X)}$ — i.e. less the expected number of bits saved, which would have had to be sent if the value of ${\displaystyle X}$ were coded according to the uniform distribution ${\displaystyle P_{U}(X)}$ rather than the true distribution ${\displaystyle P(X)}$.

조건부 엔트로피

조건부 엔트로피^[21],

${\displaystyle {\begin}\mathrm {H}(X\mid Y)&=\log(N)-D_{\text{KL}(P(X,Y)\병렬 P_{U}(X)P(Y)\[5pt]&.=\log(N)-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_{U}(X))\\[5pt]&=\mathrm {H} (X)-\operatorname {I} (X;Y)\\[5pt]&=\log(N)-\operatorname {E} _{Y}\왼쪽[D_{\text}{KL}}\왼쪽(P\왼쪽(X\mid Y\오른쪽)\병렬 P_{U}(X)\오른쪽)\끝{정렬}}}}$

is the number of bits which would have to be transmitted to identify ${\displaystyle X}$ from ${\displaystyle N}$ equally likely possibilities, less the relative entropy of the product distribution ${\displaystyle P_{U}(X)P(Y)}$ from the true joint distribution ${\displaystyle P(X,Y)}$ —i.e. less the expected number of bits saved which would have had to be sent if the value of ${\displaystyle X}$ were coded according to the uniform distribution ${\displaystyle P_{U}(X)}$ rather than the conditional distribution ${\displaystyle P(X Y)}$ of ${\displaystyle X}$ given ${\$$디스플레이$ 스타일 $Y}$.

크로스 엔트로피

분산 p에서 발생하는 일련의 가능한 이벤트가 있을 때 엔트로피 인코딩을 사용하여 (무손실 데이터 압축으로) 인코딩할 수 있다.이것은 각 고정 길이 입력 기호를 해당 고유 가변 길이 접두사 없는 코드(예: 확률 p = (1/2, 1/4, 1/4)로 인코딩할 수 있는 이벤트(A, B, C)로 교체하여 데이터를 압축한다(0, 10, 11).만약 우리가 미리 분포 p를 알고 있다면, 우리는 최적의 인코딩을 고안할 수 있다(예: 허프먼 코딩을 사용하는 것).우리가 인코딩하는 메시지는 평균적으로 가장 짧은 길이를 가지며(인코딩된 이벤트는 p에서 샘플링된 것으로 가정), 섀넌의 p 엔트로피(${\displaystyle H}$ ( p${\displaystyle }$)${\displaystyle \mathrm {H} (p)}$로 표시됨)$$와 같을 것이다.그러나 엔트로피 인코딩 체계를 만들 때 다른 확률 분포(q)를 사용하면 가능성의 집합에서 사건을 식별하기 위해 평균적으로 더 많은 수의 비트가 사용될 것이다.이 새로운 (더 큰) 숫자는 p와 q 사이의 교차 엔트로피에 의해 측정된다.

두 확률 분포(p와 q) 사이의 교차 엔트로피는 "참" 분포 p가 아니라 주어진 확률 분포 q에 기초하여 코딩 방법을 사용하는 경우, 가능성 집합에서 사건을 식별하는 데 필요한 평균 비트 수를 측정한다.따라서 동일한 확률 공간에 대한 두 분포 p와 q에 대한 교차 엔트로피는 다음과 같이 정의된다.

${\displaystyle \mathrm {H}(p,q)=\operatorname {E} _{p}[-\log(q)]=\mathrm {H}(p)+D_{\text{KL}(p\parallel q).}$

이를 명시적으로 파생하려면 위의 동기 섹션을 참조하십시오.

이 시나리오에서 상대 엔트로피(kl-diversity)는 p 대신 q를 인코딩 방식 구성에 사용하기 때문에 이벤트 인코딩에 필요한 평균 비트 수(${\displaystyle H}$ (p${\displaystyle }$)${\displaystyle \mathrm$ {$H}(p$을 초과)로 해석할 수 있다.

베이시안 업데이트

베이지안 통계에서 상대 엔트로피는 사전 분포에서 후분포로의 이동에 따른 정보 $이득$의 척도로 사용될 수 있다$:$ p${\displaystyle }$( ${\displaystyle x}$)${\displaystyle }$→ ${\displaystyle p}$( ${\displaystyle x}$ ${\displaystyle \mid }$ ${\displaystyle I}$) ${\displaystyp p(x)\to p(x\mid I)}.$ 만약 새로운 $사실{\displaystyle Y}$ =$${\$displaysty Y=y$}이$$ 발견되면 $X$의 후분포를 업데이트하는 데 사용될 수 있다.${\displaystyle$ $X$$}$에서 Bayes의 정리를 사용하여$$ p${\displaystyle (x}$ ${\displaystyle \mid }$ ${\displaystyle I}$${\displaystyle }$) ${\displaystyle$ p$(x\mid y,$ $)}$까지:

${\displaystyle p(x\mid y,I)={\frac {p(y\mid x,I)p(x\mid I)}{p(y\mid I)}}}}$

이 분포에는 새로운 엔트로피가 있다.

${\displaystyle \mathrm {H} {\big(}p)(x\mid y,I){\big )}=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I),}$

which may be less than or greater than the original entropy ${\displaystyle \mathrm {H} (p(x\mid I))}$. However, from the standpoint of the new probability distribution one can estimate that to have used the original code based on ${\displaystyle p(x\mid I)}$ instead of a new code based on ${\displaystyle p(x\mid y,}$${\displaystyle I}$) ${\displaystyle p(x\mid y,I)}$은(는) 예상되는 비트 수를 추가했을 것이다$$.

${\displaystyle D_{\text{KL}}{{{p(x\mid y,I)\병렬 p(x\mid I){\big )}=\sum _{x}p(x\mid y,I)\log \left({\frac {p(x\mid y,I)}{p(x\mid I)}}}\오른쪽)}$

메시지 길이까지따라서 이는 $Y{\displaystyle }$= ${\displaystyle y}$ ${\displaystyle Y=y}$을(를) 발견하여 얻은 $X{\displaystyle }$ ${\displaystyle X$에 대한 유용한 정보 또는 정보 이득의 양을 나타낸다$.$

If a further piece of data, ${\displaystyle Y_{2}=y_{2}}$, subsequently comes in, the probability distribution for ${\displaystyle x}$ can be updated further, to give a new best guess ${\displaystyle p(x\mid y_{1},y_{2},I)}$. If one reinvestigates the information gain for using $$${\displaystyle p}$( ${\displaystyle x}$ ${\displaystyle \mid }$ y ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}I}$) $p{\displaystyle }$( ${\displaystyle x}$ ${\displaystyle \mid }$ I )${\displaystyle$ ${\displaystyle p}$$(x\mid y_{1},I)}$이$($가) 아닌, p (x\mid I$)}$ ${\$displaystyle $p(x\mid$I)}, 이전에 추정된 것보다 크거나 작을 수 있는 것으로 나타났다.

∑)p()∣는 y1, y2, 나는)로그 ⁡(p()∣ 1y, y2, 나는)p()∣ 나는)){\displaystyle \sum_{)}(x\mid y_{1},y_{2},I)\log \left({\frac{p(x\mid y_{1},y_{2},I)}{p(나는x\mid)}}\right)}또는>≤ 것이므로보다 ∑)p()∣는 y1, 나는)로그 ⁡(p()∣ 1y, 나는)p()∣ 나는)){\displaystyle \d.$isplaystyle \sum _{x}p(x\mid y_{1},I)\log({\frac {p(x\mid y_{1}}}}{p(x\mid I)}}}\right)}$

따라서 결합된 정보 이득은 삼각형 불평등을 따르지 않는다.

${\$$$$L}}{\big (}p(x\mid y_{1},y_{2},I)\parallel p(x\mid I){\big )}}$ may be <, = or > than ${\displaystyle D_{\text{K$$L}}{{{p(x\mid y_{1},y_{2},I)\병렬 p(x\mid y_{1},I){\big )}+D_{\text{K$$L}{{\big (}p(x\mid y_{1},I)\병렬 p(x\mid I){\big )}}}}$

p($y{\displaystyle }$2${\displaystyle {}_{}{}_{}}$ y ${\displaystyle {1\mathrm{}}_{}}$,${\displaystyle {}_{}}$x${\displaystyle }$, ${\displaystyle I}$ ${\displaystyle )}$를 ${\displaystyle \mathrm{사용}}$하여$$평균을 $산출$하면, 평균적으로 p (y_${2}\mid y_{1},x,I)$가 평균을 낸다고 말할 수 있다$.$

베이지안 실험 설계

베이지안 실험 설계의 공통 목표는 이전과 후방의 기대 상대적 엔트로피를 최대화하는 것이다.^[22]포스터가 가우스 분포에 근사치인 경우 기대 상대적 엔트로피를 최대화하는 설계를 Bayes d-최적 설계라고 한다.

차별정보

상대 엔트로피 $D{}_{}$ ${\text{KL}}_{}$($p$( $x$ $\mid$ ${H\mathrm{}}_{}$ ${}_{}$) $\parallel$ $p$( $x$ $\mid$ H ${0\mathrm{}}_{}$)${\$)$L}}{\bigl (}p(x\mid H_{1})\parallel p(x\mid H_{0}){\bigr )}}$ can also be interpreted as the expected discrimination information for ${\displaystyle H_{1}}$ over ${\displaystyle H_{0}}$: the mean information per sample for discriminating in favor of a hypothesis ${\displaystyle H_{1}}$ against a hypothesis${\displaystyle H_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$ 가설 $H{\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$ ${\$}이 참일$$ 때$.$^[23]I. J. Good가 부여한 이 수량의 또 다른 명칭은 $H{\displaystyle {}_{}}$ ${\$에 대한 H ${\displaystyle {1\mathrm{}}_{}}$ ${\${1$}}$에 대한 기대되는 증거 가중치 입니다.

$H{\displaystyle {}_{}}$ ${\displaystyle {0\mathrm{}}_{}}$ ${\$에 대한 $H{\displaystyle {}_{}}$ 1 ${\$ H_${1$}에 대한 증거의 예상 가중치는 가설의 확률$$ 분포 $p{\displaystyle }$ (${\displaystyle H}$) ${\displaystyle p(H)}$에 대한 표본당 예상되는 정보 증가와 같지 않다.

${\displaystyle D_{\text}{KL}(p(x\mid H_{1})\병렬 p(x\mid H_{0})\neq IG=D_{\text{KL}}}}(p(H\mid x)\병렬 p(H\mid I)}$

베이지안 실험 설계에서 두 가지 수량 중 하나를 효용 함수로 사용할 수 있으며, 이는 조사할 최적의 다음 질문을 선택하는 데 사용할 수 있지만, 일반적으로 다소 다른 실험 전략으로 이어질 것이다.

엔트로피 정보 획득 규모에서 거의 확실성과 절대 확실성 사이에는 거의 차이가 없다. 즉, 거의 확실성에 따라 코딩하는 것은 절대 확실성에 따라 코딩하는 것보다 더 많은 비트를 필요로 하지 않는다.반면에, 증거의 무게에 의해 암시된 로짓 척도에서, 두 가지 사이의 차이는 엄청나다 - 아마도 무한한 것이다; 이것은 수학적 증거를 가지고 있기 때문에 그것이 옳다고 확신하는 것에 비해, 예를 들어 리만 가설은 정확하다고 거의 확신하는 (확률론적 수준에서) 차이점을 반영할 수 있다.불확실성에 대한 이 두 가지 상이한 손실 함수는 각각 문제의 특정 상황을 얼마나 잘 반영하느냐에 따라 둘 다 유용하다.

최소차별정보의 원리

상대 엔트로피의 개념으로 차별 정보 Kullback 그 원리 .mw-parser-output .vanchor&gt의 것을 제시했다;:target~.vanchor-text{background-color:#b1d2ff}Minimum 차별 정보(다중 문서 인터페이스):새 배포 f{\displaystyle f}선택해야 한다는은 원작에서 차별하기 힘들다 새로운 사실을, 주어진다.f가능한 0{\displaystyle f_{0}}분포;도록.새로운 데이터는 정보 이득$$ $D{\displaystyle {}_{}}$ ${\displaystyle {\text{KL}}_{}{f\mathrm{}}_{}{}_{}}$ f 0$){\displaystyle D_{\text{KL}}(f\parallel f_{0})$을 가능한 작게 생성한다.

예를 들어, $x{\displaystyle }$ ${\displaystyle x}$에 $대한{\displaystyle }$ ${\displaystyle \mathrm{이전}}$ 분포 p$($$x$ , ) {\displaystyle $p(x,a)}$ 및 $\{\backslash$$displaystyle a}$의 실제 분포가 ${\displaystyle u(}$ ) ${\displaystyle u(a$인 경우, $x{\displaystyle }$ ${\di$에 대한 새 접합 분포 사이의 상대적 엔트로피가 있다는 것을 알게 된다.$splaystyle$ $x$$}$ $및{\displaystyle }$ ${\displaystyle$ a$},$$q{\displaystyle (x}$ ${\displaystyle \mid }$ a${\displaystyle }$)$$ ) {\$displaystyle q(x\mid a)u(a)}$및 이전$$ 분포:

${\displaystyle D_{\text}{KL}(q(x\mid a)u(a)\병렬 p(x,a))=\operatorname {E} _{u(a)}\left\{D_{\text}{KL}(x\mid a)\parallel p(x\mid a)\parallel p(a),}\right\}+D_{\text}u(a),}$

즉, $p{\displaystyle }$ ( ${\displaystyle )\{\backslash }$$displaystyle p($${\displaystyle a}$$)}$의 이전 분포에 대한$$p${\displaystyle }$$(){\displaystyle u(a$에 대한 상대 엔트로피의 합계 및 예상 값(${\displaystyle \mathrm{사전}}$ 조건부 디스패치의 상대적 엔트로피 $u{\displaystyle }$ ($){\displaystystyle u(a$ 사용)tribution ${\displaystyle p(x\mid a)}$ from the new conditional distribution ${\displaystyle q(x\mid a)}$. (Note that often the later expected value is called the conditional relative entropy (or conditional Kullback-Leibler divergence) and denoted by ${\displaystyle D_${\text{KL}}(q(x\mid)\parallel p(x\mid))}[2][21]:페이지의 주 22)너(를){\displaystyle u(를)}의 전체 지원을 넘어서면q()∣))p()∣){\displaystyle q(x\mid)=p(x\mid)}이;그리고면 우리는 새로운 물류 u(를){\displaystyle u(를)}이 이 결과, 베이즈 정리하고 있다는 사실에 주목하고 최소화된다 사실에 있다.한 δ 기능 r${\displaystyle a}$이(가) 하나의 특정 값을 갖는다는$$ 분명한 확실성.

MDI는 라플레이스의 불충분한 사유 원칙과 E.T.제인스의 최대 엔트로피 원리의 연장선으로 볼 수 있다.특히, 최대 엔트로피 원리를 이산형에서 연속형 분포로 자연적으로 확장하는 것으로, 섀넌 엔트로피는 더 이상 유용하지 않게 된다(미분 엔트로피 참조). 그러나 상대 엔트로피는 여전히 관련성이 있다.

공학 문헌에서, MDI는 때때로 최소 교차-엔트로피의 원리 또는 약칭으로 민센트로 불린다.$m{\displaystyle }$ ${\$$displaystyle m$$}$에 대해$$ m {\$displaystyle{\displaystyle }$ m}에서 p${\$$displaystyle{\displaystyle }$ p}까지 $상대$$$엔트로피를$$ 최소화하는 것은 이후 p $\{\backslash$$displaystyle{\displaystyle }$ p} 및 m$$${\displaystyle$ m}의 교차 엔트로피를 최소화하는 것과$$ 동일하다.

${\displaystyle \matrm {H}(p,m)=\matrm {H}(p)+D_{\text{KL}(p\parallel m),}$

$p{\displaystyle }$ ${\displaystyle p}$에 대한 적절한 근사치를 선택하려고 할 경우 적절하다. 그러나 이는 흔히 달성하려는 작업이 아니다$.$대신, 고정된 사전 참조 측정인$$ $m{\displaystyle }$ ${\displaystyle m$${\displaystyle \}}$과(${\displaystyle 와)}$ $일부{\displaystyle {}_{}}$ 제약이 따르는$$ p $displaystyle D_{\text{KL}}$을(를) 최소화하여 최적화를 시도하는 $p$ ${\displaystystyle p}$이(가)인 경우가 많다.이로 인해 문헌에서 일부 저자들이 교차 엔트로피를 $H{\displaystyle \mathrm{}}$ ${\displaystyle (,}$ ${\displaystyle p}$ , ${\displaystyle m}$$){\$$displaystyle$ D_${\text}{{KL}(p\parallel m$$)\}$이 아닌$$$D{\displaystyle {}_{}}$$$${\displaystyle {\text{KL}}_{}}$ ${\displaystyle {}_{}p,}$$m)$로 재정립함으로써 불일치를 해결하려고 시도하고 있는 등, 문헌에서 어느 정도 모호성을 가져왔다$.$

사용 가능한 작업에 대한 관계

놀라운^[24] 것은 확률이 증가하는 곳에 추가된다.The surprisal for an event of probability ${\displaystyle p}$ is defined as ${\displaystyle s=k\ln(1/p)}$. If ${\displaystyle k}$ is ${\displaystyle \left\{1,1/\ln 2,1.38\times 10^{-23}\right\}}$ then surprisal is in ${\displaystyle \{}$nats, b예를 들어$,$ $모든{\displaystyle }$ "헤드"를 N {\$displaystyle$ $N}$ 동전의$$ 토스에 착륙시키기 위한 $N{\displaystyle }$ ${\$$displaystyle N}$비트의$$ 놀라운 점이 $있다$${\displaystyle .}$

최상의 상태(예: 가스 내 원자의 경우)는 주어진 제어 매개변수 집합($압력{\displaystyle }$ P ${\displaystyle$ $P$$} 또는$ 볼륨$$ V ${\displaystyle V})$에 대한 평균 놀라운 $S{\displaystyle }$ ${\displaystyle$ S$}($엔트로피)를 최대화하여 추정한다.$$이 제한된 엔트로피 최대화는 고전적^[25] 및 양자적 모두, 제한된 다중성 $또는$ 파티션 함수인 엔트로피 단위^[27] $A{\displaystyle }$ ${\displaystyle \equiv }$- ${\displaystyle \mathrm{kn}}$ ${\displaystyle }$( Z${\displaystyle }$) ${\$$displaystyle$ $A\equiv -k\ln(Z$$)}$에서 Gibbs 가용성을 최소화한다$.$^[26]

온도 $T{\displaystyle }$ ${\displaystyle T}$이(가) 고정되면 자유 에너지(${\displaystyle T}$ ${\displaystyle \times }$ A ${\displaystyle T\time$ A$\})$도 최소화된다.Thus if ${\displaystyle T,V}$ and number of molecules ${\displaystyle N}$ are constant, the Helmholtz free energy ${\displaystyle F\equiv U-TS}$ (where ${\displaystyle U}$ is energy and ${\displaystyle S}$ is entropy) is minimized as a system "equilibrates."$T{\displaystyle }$ ${\displaystyle T}$과 P ${\displaystyle P}$이(가) 일정하게 유지되면(몸 안의 프로세스 중에) Gibbs 자유 에너지 $G{\displaystyle }$= U${\displaystyle }$+ ${\displaystyle P}$ ${\displaystyle V}$- ${\displaystyle T}$ ${\displaystyle S}$ ${\displaysty G=U+$PV-TS$}$ 대신 최소화된 것이다$$.이러한 조건에서 자유 에너지의 변화는 프로세스에서 수행될 수 있는 가용 작업의 척도다.따라서 일정한 온도 $T{\displaystyle {}_{}}$ ${\displaystyle o_{}}$ ${\$와 압력 $P{\displaystyle {}_{}}$ ${\displaystyle o_{}}$ ${\$에서 이상적인 가스에 사용할 수 있는 작업은 $W{\displaystyle }$= ${\displaystyle \mathrm{\Delta }}$ G${\displaystyle }$= ${\displaystyle \mathrm{Nk}}$ ${\displaystyle {}_{}}$ ${\displaystyle o_{}}$ (${\displaystyle {}_{}\mathrm{}}$/${\displaystyle V{}_{}}$ ${\displaystyle o_{}}$ $displaysty W=\Delta G=NKT_{o}\}$이다.$Theta (V/V_{o})}$ where ${\displaystyle V_{o}=NkT_{o}/P_{o}}$ and ${\displaystyle \Theta (x)=x-1-\ln x\geq 0}$ (see also Gibbs inequality).

많은 generally[28]은 어느 정도 업무 주변에 상대적으로 사용할 수 Δ 0≥}상대적 혹은 순수 엔트로피 surprisal에 의해,{\displaystyle \Delta I\geq 0,}km그리고 4.9초 만 ln ⁡(p/p는 o){\displaystyle k\ln(p/p_{시})}어디 p의 평균 값으로 정의된 얼마나 자주'o'를 주변 온도 T({\displaystyle T_{는 o}을 곱한 {\di$splaystyle p_{o}}$은(는) 주변 조건에서 주어진 상태의 확률이다$$.예를 들어, 단원자 이상$$가스를 $V{\displaystyle {}_{}}$ ${\displaystyle o_{}}$ {\$displaystyle V_{o}$와 $T{\displaystyle {}_{}}$ ${\displaystyle o_{}}$ ${\$의 주변 값에 평형화하여 사용할 수 있는 작업은 그러므로$$ $W{\displaystyle }$= ${\displaystyle {}_{}}$ ${\displaystyle {}_{}\mathrm{}}$ ${\displaystyle I}$ ${\\displaystyle W=T_{o}\delta$ I$\},$ 여기서 상대적 엔트로피.

$Delta I=Nk\left[\displaystyle \Delta I=nk\left]세타 \left({\frac {V}{V_{o}}\오른쪽)+{\frac {3}{2}}\Theta \left({\frac {T}{T_{o}}\오른쪽)\오른쪽]}$

표준 온도와 압력에서 아르곤 몰에 대해 오른쪽에 나타난 상수 상대 엔트로피의 결과 등고선은 예를 들어 불꽃 구동 에어컨에서처럼 고온에서 저온으로 변환하거나 비동력 장치에서 비등수를 얼음수로 변환하는 데 제한을 두었다.^[29]따라서 상대 엔트로피는 열역학적 가용성을 비트 단위로 측정한다.

양자정보이론

힐버트 공간의 밀도 행렬 $P{\displaystyle }$ ${\displaystyle P}$ $및{\displaystyle }$ Q$$ ${\displaystyle Q}$의 경우 Q ${\displaystyle Q}$에서 P ${\displaystyle P}$까지의 양자 상대 엔트로피는 다음과 같이 정의된다$$.

${\displaystyle D_{\text}{KL}(P\병렬 Q)=\operatorname {Tr}(P(\log(P)-\log(Q)).}$

양자정보학에서 $모든{\displaystyle }$ 분리 가능한 상태 Q ${\displaystyle$ $D_{\text{KL}(P\parallel Q$$)$에 대한$$ $최소{\displaystyle {}_{}}$ ${\displaystyle {\text{DKL}}_{}P}$ ${\displaystyle \parallel }$ ${\displaystyle Q}$)은 상태 $P{\displaystyle }$ ${\displaystyle P}$의 얽힘 측정으로도 사용할 수 있다$$$.$

모델과 현실의 관계

"주변으로부터의 실제"의 상대적 엔트로피가 열역학적 가용성을 측정하듯이, "모델로부터의 현실성"의 상대적 엔트로피 또한 우리가 현실성에 대해 가지고 있는 유일한 단서들이 일부 실험적인 측정일 경우에도 유용하다.전자의 경우 상대 엔트로피는 평형까지의 거리 또는 (주변 온도에 곱할 때) 이용 가능한 일의 양을 기술하는 반면 후자의 경우 현실은 그 소매 위에 있다는 놀라움이나 다시 말해서 모델이 아직 배우지 못한 정도에 대해 말해준다.

실험적으로 접근할 수 있는 시스템에 대해 모델을 평가하기 위한 이 도구는 어느 분야에나 적용될 수 있지만, Akaike 정보 기준을 통한 통계적 모델 선택 적용은 특히 Burnham과 Anderson의 논문과^[30][31] 책에 잘 설명되어 있다.간단히 말해서, 모형의 실제의 상대적 엔트로피는 데이터와 모형의 예측 사이의 편차의 함수(평균 제곱 편차 등)에 의해 일정한 가법 항 내에서 추정될 수 있다. 같은 가법 항을 공유하는 모형에 대한 그러한 다양성의 추정치는 모델들 사이에서 차례로 사용될 수 있다.

파라메타화된 모델을 데이터에 적합시키려 할 때 최대우도 및 최대 간격 추정기와 같이 상대적인 엔트로피를 최소화하려는 다양한 추정기가 있다.^{[citation needed]}

대칭 분기

Kullback & Leibler(1951)도 대칭함수를 고려했다.^[5]

${\displaystyle D_{\text{KL}(P\병렬 Q)+D_{\text{KL}(Q\병렬 P)}$

오늘날 "KL 다이버전스"는 비대칭 함수를 가리킨다(이 용어의 진화는 § 어원 참조).이 함수는 대칭적이고 음성이 아니며, 이미 1948년에 해롤드 제프리스에 의해 정의되고 사용되었었다.^[6] 따라서 그것은 제프리스의 발산이라고 불린다.

이 수량은 분류 문제에서 형상을 선택하는 데 가끔 사용되었는데, 여기서 $P{\displaystyle }$ ${\displaystyle P}$과 Q ${\displaystyle Q}$은 서로 다른 두 등급의 형상에 대한 조건부 pdfs이다.은행업과 금융업에서는 이 수량을 인구안정지수(PSI)라고 하며, 시간 경과에 따른 모델 특성의 분포 변화를 평가하는 데 사용한다.

대안은 $\lambda {\displaystyle }$ ${\displaystyle \lambda }$의 차이를 통해 주어진다.

${\displaystyle D_{\lambda }(P\parallel Q)=\lambda D_{\text{KL}}(P\parallel \lambda P+(1-\lambda )Q)+(1-\lambda )D_{\text{KL}}(Q\parallel \lambda P+(1-\lambda )Q),}$

$현재{\displaystyle }$ 확률 $\lambda {\displaystyle }$ ${\$$displaystyle$P} 또는 Q {\$displaystyle Q}$ 중$$ $어느{\displaystyle }$ 확률 $분포{\displaystyle }$ X가 도출되는지$$ 발견함으로써 X ${\$$displaystyle$ $X}$에 대한 예상 정보 이득으로 해석할 수 있으며${\displaystyle ,<img\; alt="Q"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/8752c7023b4b3286800fe3238271bbca681219ed"\; style="vertical-align:\; -0.671ex;\; width:1.838ex;\; height:2.509ex;"\; papago-attr-id="1163">}$ 현재 확률 { {\$displaystyle$$\lambda$$$} 및$$ $1-l인$$$경우$ambda$ $}.$^{[clarification needed][citation needed]}

${\displaystyle \mathrm{값}}$ ${\displaystyle =\mathrm{}}$= ${\displaystyle 0}$.5$${\$displaystyle \lambda =0.$5}은(는) Jensen-Shannon의 차이를 나타내며$$ 다음과 같이 정의된다.

${\displaystyle D_{\text{JS}}={\frac {1}{2}}D_{\text{{2}}D_{\text{KL}}(P\parallel M)+{\frac {1}{2}}D_{\text{KL}(Q\parallel M)}}}}$

여기서 $M{\displaystyle }$ ${\displaystyle M}$은(는) 두 분포의 평균이다.

${\displaystyle M={\frac {1}{1}:{2}}(P+Q).}$

${\displaystyle D_{}}$ ${\displaystyle J_{}}$ ${\displaystyle S_{}}$ ${\$ 또한 출력 분포 P {\$displaystyle P}$ 및 Q$$ ${\displaystyle$ Q$}$을(를) $제공$하는 두 개의 입력을 가진 노이즈가 있는 정보 채널의 용량으로 해석할 수 있다$$$.$모든 f-디버겐과 마찬가지로 옌센-샤논의 차이는 피셔 정보 메트릭스에 국소적으로 비례한다.헬링거 측정지표와 유사하다(통계 다지관의 동일한 아핀 연결을 유도한다는 점에서).

또한, Jensen-Shannon의 차이는 추상 평균 M에 의존하는 추상 통계 M 혼합물을 사용하여 일반화할 수 있다.

기타 확률 거리 측도와의 관계

확률 거리에 대한 다른 중요한 척도들이 많이 있다.이들 중 일부는 특히 상대 엔트로피와 관련이 있다.예를 들면 다음과 같다.

• The total variation distance, ${\displaystyle \delta (p,q)}$. This is connected to the divergence through Pinsker's inequality: ${\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\text{KL}}(P\parallel Q)}}}$
• 레니 가문은 상대 엔트로피를 일반화한다.특정 $파라미터$의$$값인 α {\displaystyle $\alpha$}에 따라 다양한 불평등이 추론될 수 있다$.$

다른 주목할 만한 거리 측정으로는 헬링거 거리, 히스토그램 교차로, 치 제곱 통계량, 이차 형태 거리, 일치 거리, 콜모고로프-스미르노프 거리, 지구 이동 거리 등이 있다.^[34]

데이터 차이점화

절대 엔트로피가 데이터 압축에 대한 이론적 배경 역할을 하듯이, 상대 엔트로피는 데이터 차이점을 위한 이론적 배경 역할을 한다 – 이러한 의미에서 데이터 집합의 절대 엔트로피는 데이터 재구성에 필요한 데이터(최소 압축 크기)인 반면, d의 소스 집합에 주어진 대상 데이터 집합의 상대 엔트로피는 데이터 차이의 이론적 배경 역할을 한다.ata, 는 소스가 주어진 대상을 재구성하는 데 필요한 데이터다(패치의 최대 크기).

참고 항목

참조

외부 링크

• 정보 이론적 추정기 도구 상자
• Kullback-Leibler 차이를 계산하기 위한 Ruby 보석
• Kullback-Leibler 분산 및 우도 이론에 대한 Jon Shlens의 자습서
• 이산형 분포에 대한 Kullback-Leibler 차이를 계산하기 위한 Matlab 코드
• 세르히오 베르두, 상대 엔트로피, NIPS 2009.1시간짜리 동영상 강의.
• 정보이론적 다양성 측정의 현대적 요약