젠센-샤논의 차이

확률 이론과 통계에서 젠슨-샤논 분비는 두 확률 분포 사이의 유사성을 측정하는 방법이다.평균에 대한 정보 반지름(IRAD)^[1] 또는 총 차이라고도 한다.^[2]그것은 Kullback-Leibler 분리에 기초하며, 대칭적이고 항상 유한한 가치를 가지고 있다는 것을 포함하여 몇 가지 주목할 만한 (그리고 유용한) 차이점을 가지고 있다.옌센-샨논 분리의 제곱근은 종종 옌센-샨논 거리라고 불리는 지표다.^[3][4][5]

정의

A는 측정 가능한 하위 집합의 일부 σ-알지브라와 함께 제공된 집합인 확률 분포의$$ $M{\displaystyle {}_{}^{}}$+ ${\displaystyle {}_{}^{}}$( ${\displaystyle A}$ )${\displaystyle M_{+}^{1}(A)}$을(를) 고려하십시오.특히 우리는 모든 하위 집합을 측정할 수 있는 유한 또는 계수 가능한 집합으로 A를 취할 수 있다.

The Jensen–Shannon divergence (JSD) ${\displaystyle M_{+}^{1}(A)\times M_{+}^{1}(A)\rightarrow [0,\infty {})}$ is a symmetrized and smoothed version of the Kullback–Leibler divergence ${\displaystyle D(P\parallel Q)}$. It is defined by

${\displaystyle {\rm {JSD}(P\parallel Q)={\frac {1}{2}}D(P\parallel M)+{\frac {1}{1}{2}}D(Q\parallel M)}}$

여기서 $M{\displaystyle }$= ${\displaystyle 1\frac{\mathrm{}}{}}$ ${\displaystyle \frac{2}{}}$( ${\displaystyle P}$+ ${\displaystyle Q}$) ${\displaystyle M={\frac {1}{2}}(P+Q)}$

기하학적 옌센-샨논 발산(또는 G-젠센-샨논 발산)은 기하학적 평균을 취함으로써 두 가우스 분포 사이의 분산을 위한 폐쇄형 공식을 산출한다.

세 개 이상의 확률 분포를 비교할 수 있는 보다 일반적인 정의는 다음과 같다.

${\displaystyle {\begin{aigned}{\rm {J}SD}_{}_{1},\ldots,\pi_{n}(P_{1},P_{2},\ldots,P_{n}}&=\sum _{i}\pi_{i}D(P_{i}\병렬 M)\&=H\left(\sum _{i=1}^{n}\pi _{i_{i}\right)-\sum _{i=1}^{n}\pi _{i}H(P_{i}}\ended}}}}}}}}}}}}}}$

어디에

${\displaystyle {\reasoned}M&:=\sum _{i=1}^{n}\pi _{i}P_{i}\end{agged}}}}$

and ${\displaystyle \pi _{1},\ldots ,\pi _{n}}$ are weights that are selected for the probability distributions ${\displaystyle P_{1},P_{2},\ldots ,P_{n}}$, and ${\displaystyle H(P)}$ is the Shannon entropy for distribution ${\displaystyle P}$. For the two-dist위에서 설명한 늑골 케이스,

${\displaystyle P_{1}=P,P_{2}=Q,\pi _{1}=\pi _{2}={\frac {1}{2}.\ }$

따라서 이러한 $분포$의 ${\displaystyle \mathrm{경우}}$ P ,${\displaystyle }$Q ${\displaystyle P,Q}$

${\displaystyle JSD=H(M)-{\frac {1}{1}:{2}}: {\bigg (}H(P)+H(Q){\bigg )}}}}}}}$

경계

Jensen-Shannon 차이점은 두 가지 확률 분포에 대해 1로 제한되며, 한 분포는 기준 2 로그 값을 사용한다.^[6]

${\displaystyle 0\leq {\rm {JSD}(P\병렬 Q)\leq 1}$

이 정규화에서는 P와 Q 사이의 총 변동 거리에 대한 하한이 된다.

${\displaystyle {\rm {JSD}(P\parallel Q)\leq {1}{1}\p-Q\{1}={\frac {1}{1}2}}\sum_{\omega \in \P(\omega)-Q(\omega ).}$

통계 열역학에서 일반적으로 사용되는 base-e 로그의 경우 상한은 ${\displaystyle \ln }$ ${\displaystyle }$( 2 ) ${\displaystyle$\ln(2$)\}$이며$, 일반적$으로 base b의 바운드는 ${\displaystyle {\log }_{}}$ ${\displaystyle b_{}}$ ${\displaystyle {}_{}}$( ${\displaystyle 2}$) ${\displaystyle \log _{b}(2)$:

${\displaystyle 0\leq {\rm {JSD}(P\병렬 Q)\leq \log _{b}(2)}$

좀 더 일반적인 경계인 젠슨-샨논 분비는 두 개 이상의 확률 분포에 대해$$ ${\displaystyle {\mathrm{로그}}_{}}$ ${\displaystyle b_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle (n}$) ${\displaystyle \log _{b}(n)}$에 의해 제한된다.^[6]

${\displaystyle 0\leq {\rm {J}SD}_{\pi _{1},\ldots,\pi _{n}(P_{1},P_{2},\ldots,P_{n}}\leq \log_{b}(n)}$

상호 정보와의 관계

젠슨-샤논 분비는 $P{\displaystyle }$ ${\displaystyle P}$과 $Q{\displaystyle }$ ${\displaystyle Q}$ 사이의 혼합물 분포와 관련된$$ 랜덤 $변수{\displaystyle }$ X ${\displaystyle X}$과($와$$)$ $P{\displaystyle }$ ${\displaystyle P}$과(와) $Q{\displaystyle }$ ${\$$displaystytyle Z}$ 사이의 상호 정보다.혼합물을 생성하기 위한$$ $스타일$ Q$}$$X{\displaystyle }$ ${\displaystyle X}$을(를) 이벤트 간에 잘 구별되는 기본 이벤트 집합에서 추상적인 기능이 되도록$$ 하고, $Z$${\displaystyle }$= ${\displaystyle 0}$ ${\displaystyle$ Z$=0}$이면 P$$ ${\displaystyle$ $P$$}, Z$${\displaystyle }$= 1 ${\displaystyle Z=1}$이면 Q ${\displaystystylean Q}$에 따라$$ $값$을 선택하십시오$.$ $여기서{\displaystyle }$${\displaystyle Z}$ ${\displaystyle Z}$을(를) 장착할 수 있다.즉, 확률 측정치 M${\displaystyle }$=${\displaystyle }$(${\displaystyle P}$+ ${\displaystyle Q}$)${\displaystyle }$/ ${\displaystyle 2\mathrm{}}$ ${\displaystyle M=(P+Q)/2}$에 따라$$ $X{\displaystyle }$ ${\displaystyle X}$를 선택하고 있으며$,$ 그 분포는 혼합물 분포다.우리는 계산한다.

${\displaystyle {\reasoned}I(X;Z)&=H(X)-H(X Z)\\\&=\\sum M\log M+{{1}{1}:{1}{1}\frac[\sum P\log P+\sum Q\log Q\right]\\\\\\\\\\cH\\\\\cH\\\cH}\&=-\sum {\frac}{2}}\log M-\sum {Q}{{1}\frac {1}{1}{1}{1}{1}:{1}\sum P\log P+\sum Q\right]\\\\\\\\&={\frac {1}{1}:{2}}\sum P\left(\log P-\log M\right)+{\frac {1}{1}{1}:{1}\sum Q\left(\log Q-\log M\right)\\\\\&={\rm {JSD}(P\병렬 Q)\end{aigned}}}$

상호 정보가 음이 아니고 베이스 2 로그에서$$ ${\displaystyle \mathrm{H}(Z}$)${\displaystyle }$= 1 ${\displaystyle H(Z)=1}$에 의해 경계되기 때문에 위의 결과에서 젠슨-샨논 분차가 0과 1로 경계된다.

동일한 원칙을 공동 분포와 그 두 한계 분포의 곱에 적용할 수 있으며(Kullback-Leibler 차이 및 상호 정보와 유사함), 주어진 반응이 공동 분포 또는 제품 분포에서 오는 경우 얼마나 신뢰성 있게 결정할 수 있는지를 측정할 수 있다(이것들이 유일한 tw라는 가정에 따라).o ^[7]가능성

퀀텀 옌센-샨논의 차이

밀도 행렬에 대한 확률 분포의 일반화를 통해 양자 젠슨-샤논 발산(QJSD)을 정의할 수 있다.^[8][9]밀도 행렬 ${\displaystyle {집합\mathrm{}}_{}}({\displaystyle }$ set1,${\displaystyle }$… ,${\displaystyle {\rho n}_{}}$) ${\displaystyle (\rho _{1},\ldots,\rho _{$n$$}) 및 확률 $분포{\displaystyle }$ ${\displaystyle (}$= (${\displaystyle {}_{}}$ ${\displaystyle {1\mathrm{}}_{}}$… ,${\displaystyle {\pi }_{}}$ n${\displaystyle {}_{}}$) ${\displaysty \pi =(\pi }, {$1},\$ldots ,\n})$에 대해$$ 정의된다.

${\displaystyle {\rm {QJSD}(\rho _{1},\ldots,\rho _{n}=S\left(\sum _{i=1}^{n}\pi _{i}\rho _{i}\right)-\sum _{i=1}^{n}\pi _{i}S(\rho _{i}}}})}$

여기서 $S{\displaystyle }$ (${\displaystyle \rho }$ ) ${\displaystyle S(\rho )}$은 $\rho {\displaystyle }$ ${\displaystyle \rho }$의 폰 노이만 엔트로피$.$ 이 양은 양자 정보 이론에서 소개되었는데, 여기서 홀보 정보라고 한다$:{\displaystyle }$ 양자 상태에 의해 인코딩된 고전적 정보의 양에 대한 상한( ${\displaystyle {gives1\mathrm{}}_{}}$, …,$ρn$ ${\displaystyle {}_{}}$을 준다$.$$(\rho _{1},\ldots ,\rho _{n})$ 이전 분포 $\pi {\displaystyle }$ ${\displaystyle \pi }$에 따라$$ (홀보의 정리 참조).$$^[10]$\pi {\displaystyle }$= ${\displaystyle (1\frac{\mathrm{}}{}}$ ${\displaystyle \frac{2}{}}$, ${\displaystyle \frac{1}{}}$ 2${\displaystyle }$)에 대한 Quantum Jensen-Shannon 분기점 $\$이며, 두 밀도 행렬은 정의되고 경계되며 두 밀도 행렬이 동일한 경우에만 0과 동일한 대칭 함수다.이것은 순수한 상태의 측정 기준의 제곱이며,^[11] 최근에 이 측정 기준 속성이 혼합 상태의 측정 기준도 가지고 있는 것으로 나타났다.^[12][13]Bures 메트릭은 양자 JS 차이와 밀접하게 관련되어 있다; 그것은 피셔 정보 메트릭의 양자 아날로그다.

적용들

젠슨-샤논의 차이는 생물정보학 및 게놈 비교,^[14][15] 단백질 표면 비교,^[16] 사회과학,^[17] 역사,^[18] 화재 실험^[19], 기계학습에 적용되었다.^[20]

메모들

외부 링크

• JS 발산 계산용 루비 보석
• JS 차이 계산용 파이썬 코드
• TOST: 경험적 데이터로부터 정보-이론적 수량의 효율적인 추정을 위한 파이톤 패키지
• Jensen-Shannon Difference를 포함한 복잡성 측정을 위한 statcomp R 라이브러리