발산(통계)

정보기하학에서 발산(divergence)은 통계적 거리의 일종이다.통계적 다양체의 확률분포에서 다른 확률분포로의 분리를 확립하는 이항함수이다.

가장 단순한 산차는 유클리드 거리 제곱(SED)이며 산차는 SED의 일반화라고 볼 수 있다.또 다른 가장 중요한 차이는 정보 이론의 중심인 상대적 엔트로피(컬백-라이블러 발산, KL 발산)이다.f-divergenes와 Bregman divergenes 등 수많은 특이적 발산 및 발산 클래스가 있다(see 예 참조).

정의.

$치수{\displaystyle }$n {\$displaystyle$n$\}$의 미분 $가능$한^[a] 매니폴드$$M {\$displaystyle$ M$}$이 주어진$$경우, M {\$displaystyle$ M$}$의 $차이$는 ${\displaystyle {C\mathrm{}}^{}}$ 2$${\$displaystyle$ C$^{2}}$ - $함수$ D :${\displaystyle M}$ × ${\displaystyle M}$ ${\displaystyle \to }$ [${\displaystyle 0}$ ,${\displaystyle }$] ${\display$ D$:$$M\times$ M$\to$ [$0,\infty]$를 만족하는 경우:^[1][2]

1. ${\displaystyle }$$D{\displaystyle }$${\displaystyle (p}$ ,${\displaystyle q}$ )${\$ ${\displaystyle 0}$ { $displaystyle$ D$(p$ , q ) \ $geq$ 0$$（ 모든$$${\displaystyle }$p , ${\displaystyle q}$ ${\displaystyle ）}$ 、 M$at$ { displaystyle$p$ ,$q$ \ $in$ M$$） （ non - negativity ） 、
2. ${\displaystyle D}$(${\displaystyle p}$ ,${\displaystyle q}$ ) ${\displaystyle =}$ { $displaystyle$ D$(p,q$)= $0$} (p$$ ${\displaystyle =}$ q$${ $displaystyle$ p $= q$ }$$ (양성)인 $경우$에만)
3. $모든{\displaystyle }$ $점{\displaystyle }$ p${\displaystyle m}$M { $display style$ p \ $in M$${\displaystyle \},<img\; alt="p\backslash in\; M"\; aria-hidden="true"\; class="mwe-math-fallback-image-inline"\; src="https://wikimedia.org/api/rest\_v1/media/math/render/svg/35ad2c18a15749505c928763cd4fdb56f4982816"\; style="vertical-align:\; -0.671ex;\; margin-left:\; -0.089ex;\; width:6.542ex;\; height:2.509ex;">}$ ${\displaystyle D}$ ( p${\displaystyle }$, ${\displaystyle p}$+ $){$ $display style$D ($p$ ,$p$ + $dp$)는 p$${ $display style$ p$$}로부터의 극소 $변위{\displaystyle }$ d$$ { $display style$ dp$$}에$$ 대한 양의 2차 형식입니다.

통계 적용에서 $매니폴드{\displaystyle }$M(\$displaystyle$ M$)$은 일반적으로 확률 분포 모수군의 모수 공간이다.

조건 3은 D$\displaystyle$D가$$ p$M$마다 $접선공간{\displaystyle {}_{}}$ ${\displaystyle {}_{}}$M(\$displaystyle$$T_{$$p$$M$)에$$ 내부곱을 $정의$하는 것을 의미합니다$.D\displaystyle$${\displaystyle D^{}}$는$$$C2$이므로 이$$D\$displaystyle$ C$^{2$}는 M$(\displaystyle$ M$)$에서 리만 $메트릭$을 정의합니다.$M$ \ $displaystyle$ M$$} $。$

p${\displaystyle m}$M { $display style$ p$\in$ M$\}$에서 $좌표{\displaystyle }$x { $display style$ x$\}$를 사용하여 로컬 좌표 차트를 작성할 수 있습니다.그러면 분산은 다음과 같습니다.

${\displaystyle {여기}_{}}$서 g${\displaystyle {}_{}}$p (${\displaystyle x}$ $){displaystyle g_{p}(x)$는${\displaystyle }크기{\displaystyle }$ n$$× ${\displaystyle n}$ {$displaystyle n\times$n$\}$의 매트릭스입니다.$이것$은 좌표$$x {$displaystyle$x$\}$로 표현되는 $포인트{\displaystyle }$p {$displaystyle$ p$}$의 리만 메트릭입니다.

조건 3의 치수 분석 결과, 발산에는 거리 ^[3]제곱의 차원이 있습니다.

듀얼 $컨버전스{\displaystyle {}^{}}$ D ${\$ （ { $display style$ D$^$ { * } ）는$$ 다음과 같이 정의됩니다.

${\displaystyle D^{*}(p,q)=D(q,p)}$

D$(\displaystyle$ D$)$와 D$(\$ D$^\{*\})$를 $대조$하는 경우 D$(\displaystyle$ D$)$를 원시 발산이라고 $합니다{\displaystyle }$.

D$(\displaystyle$ D$)$의 경우 대칭버전은 듀얼 ^[3]컨버전스를 사용하여 평균을 구합니다.

${\displaystyle D_{S}(p,q)=\textstyle {\frac {1}{2}}{\big (}D(p,q)+D(q,p){\big}}}.}$

다른 유사한 개념과의 차이점

메트릭과 달리 분산은 대칭일 필요가 없으며,^[3] 애플리케이션에서는 비대칭성이 중요합니다.따라서 p와 q 사이의 발산보다는 p에서 q로의 발산 또는 p에서 q로의 차이를 비대칭으로 언급하는 경우가 많다.두 번째로, 분기는 직선 거리가 아닌 제곱 거리를 일반화해서 삼각 부등식을 만족시키지 않지만, 일부 분기는 피타고라스 정리의 일반화를 만족시킨다.

일반적으로 "분산"은 모든 종류의 함수 D$p$q$)$ {$displaystyle$ D$(p,q$를 말합니다.$여기$서 p$,$ {$displaystyle p,$q$$}는 조건 1, 2를 만족시키는 확률 분포 또는 고려 대상 객체입니다.조건 3은 정보 기하학에서 사용되는 "분산"에 필요합니다.

예를 들어, 일반적으로 사용되는 통계적 분산인 총 변동 거리는 조건 3을 충족하지 않습니다.

표기법

분산 표기법은 몇 가지 규칙이 있지만 필드마다 크게 다릅니다.

분산은 일반적으로 D${\displaystyle (x}$,${\displaystyle y}$)(\$displaystyle$ D$(x,y$와 같이 대문자 D로 표기되어 있으며, 이는 소문자 'd'로 표기되어 있는 메트릭 거리와 구별됩니다.여러 개의 분산을 사용하는 경우 일반적으로 $(\$text})과 같이 첨자로 구분됩니다.KL}}: Kullback-Leibler divergence(KL 다이버전스).

특히 비대칭성을 강조하기 위해 파라미터 간에 다른 구분자를 사용하는 경우가 많습니다.정보이론에서는 $D{\displaystyle }$( p${\displaystyle q}$q $){$ $displaystyle$D ($p$ \ $parallel$q )$$;이것은 조건부 $확률$의 표기법${\displaystyle P}$ ( A $){$ $displaystyle$P ( A$B$와 비슷하지만 구별되며, 이 표기법에서는 상대적인 측정으로서 발산 해석을 강조한다.KL 분기를 위해 켜집니다.대신 ^[b]콜론을 $사용$할${\displaystyle }$수 $있습니다$ ($$p :${\displaystyle }$q ) \ $displaystyle$D ($p$ :$q$ )$$。이것은, 2 개의 분포를 서포트하는 상대 정보를 강조합니다.

파라미터의 표기법도 다릅니다.$대문자{\displaystyle }$ P${\displaystyle ,}$ $(\displaystyle$ P$,Q)$는 파라미터를 확률 분포로 해석합니다.$소문자{\displaystyle }$ $,$ {$q$$}$ $또는{\displaystyle }$x$,$ ${\displaystyle y}$(\$displaystyle x,y$}는 공간 내의 점으로 기하학적으로 해석합니다$$.${\displaystyle {\mu \mathrm{}}_{}}$ 1,${\displaystyle {}_{}{\mu \mathrm{}}_{}}$ 2$(\$ _${1$},\${\displaystyle {}_{}}$$_{$$2$}}) $또는$ 1, $(\$displaystyle $m)$입니다.${},m_{$2}}은$($는) 측정값으로 해석합니다.

기하학적 특성

만약 우리가 S를 통계적 다양체로 제한한다면, 분산의 많은 속성을 도출할 수 있다. 즉, 유한 차원 좌표계 θ로 매개변수를 구할 수 있고, 따라서 분포 p θ S에 대해 p = p(p)로 쓸 수 있다.

한 쌍의 점 p, q θ S에 대해 좌표 θ_p 및 θ는_q 다음과 같은 D(p, q)의 편도함수를 나타낸다.

${\displaystyle{\begin{정렬}((\partial_{나는})_{p},q)\)&{\stackrel{\mathrm{def}}{)}}년){\tfrac{\partial}{\partial \theta_{p}^{나는}}}D(p,q),\\D((\partial_{나는}\partial_{j})_ᆳ,(_{k}\partial)_{q})\)&{\stackrel{\mathrm{def}}{)}}년){\tfrac{\partial}{\partial \theta_{p}^{나는}}}{\tfrac{\partial}{\partial \theta_{p}^{j}}}{\tfr.교류{\partial }{\partial \theta _{q}^{k}}D(p,q),\\mathrm {etc}.} \end { aligned } }$

이제 이러한 함수를 대각선 p = q로 제한하고 다음을 나타냅니다.

$디스플레이 스타일D[\partial _{i},\cdot]\\p\mapsto D(\partial _{i}_{p}),\D[\partial _{i}\partial _{j}\p},\p\p\mapsto D(\partial _{i}_{p})\rmathetc}),} \end { aligned } }$

정의상, 함수 D(p, q)는 p = q에서 최소화된다.

${\displaystyle {begin{aligned}&D[\partial _{i},\cdot ]= 0,\D[\partial _{i}\partial _{j},\cdot ]=D[\cdot,\partial _{i}\partial _{j},\D},$

여기서 행렬^(D) g는 양의 반확정이며 매니폴드 S에 고유한 리만 메트릭을 정의합니다.

발산 D(···)는 계수를 갖는 고유한 비틀림 없는 아핀 연결 ^(D)θ도 정의한다.

$\Displaystyle \Gamma _{ij,k}^{(D)}=-D[\partial _{i}\display _{j},\displaystyle _{k},}$

이 접속의 dual은 dual divergence D*에 의해 생성됩니다.

따라서, 발산 D(·, ·)는 통계 다양체에 고유한 이원론적 구조(g^(D), ^(D)θ, ^(D*)θ)를 생성한다.통계 다양체의 모든 비틀림 없는 이원론적 구조는 (단,^[5] 고유할 필요는 없는) 글로벌하게 정의된 발산 함수에서 유도된다.

예를 들어, D가 어떤 함수 δ(·)에 대해 f-진입인^[6] 경우, 메트릭^(D_f) g = c·g 및 접속 ^(D_f)= ^(α)θ를 생성합니다.여기서 g는 표준 Fisher 정보 메트릭이고, ^(α)θ는 α-connection, c = θ(1), α = 3 + 2 θ(1)/θ(1)이다.

예

가장 중요한 두 가지 분산은 정보 이론과 통계의 중심인 상대적 엔트로피(Kullback-Leibler divergence, KL divergence)와 유클리드 거리 제곱(SED)이다.이 두 분기를 최소화하는 것이 ^[7]특히 로지스틱 회귀와 선형 회귀에서 최대 엔트로피와 최소 제곱의 원리를 통해 선형 역 문제를 해결하는 주요 방법입니다.

분기의 가장 중요한 두 가지 클래스는 f-분산 및 브레그만 분산이다. 그러나 다른 유형의 발산함수도 문헌에서 볼 수 있다.f-diversion과 Bregman diversion 둘 다인 유일한 diversion은 Kullback-Leibler ^[8]diversion이다. 제곱 유클리드 diversion은 Bregman diversion($함수{\displaystyle {}^{}}$ ${\displaystyle {x\mathrm{}}^{}}$2 {$style$ x$^{2}}$에 대응하지만 f-diversions는 아니다.)

f-인스턴스

$f{\displaystyle }$(${\displaystyle 0}$${\displaystyle }$)${\displaystyle =}$ ${\displaystyle (}$ -${\displaystyle \mathrm{},}$ ,$]$ ) \ $to$( \ infty , \ $infty$ )$$\ $to$ ( \ $infty$ ) ) f ( 0 ) ${\displaystyle \underset{}{=}}$ $lim$ t → $0$+ f ( t ) , ${\displaystyle f}$(${\displaystyle 1}$) $0$\ $displaystyle$f ( 0 ) = \ $lim$ _$to$ 0 +${\displaystyle \underset{}{{}^{}}}$ ($f$)${\displaystyle }$} 、

${\displaystyle D_{f}(p,q)=\int p(x)f(bigg)}{\frac {q(x)}{p(x)}}{\bigg}}}{\displaystyle}$

Kullback-Leibler 발산:	${\displaystyle D_{\mathrm {KL}}(p,q)=\int p(x)\ln \leftflac {p(x)}{q(x)}}\right}$
Hellinger 거리 제곱:	${\displaystyle H^{2}(p,,q)=2\int {Big (\signrt {p(x)}}-{\signrt {q(x)}},{\Big}}^2}g}$
Jensen-Shannon 발산:	${\displaystyle D_{JS}(p,q)=syslogfrac {1}{2}}\int(p(x)-q(x){\big (}\ln p(x)-\ln q(x){\big }}syslog}$
α 수렴	${\displaystyle D^{(\alpha)}(p,q)=flac {4}{1-\alpha ^{2}}{\bigg (}1-\int p(x)}{\frac {1-\alpha}{2}{\frac {1+\alpha }{2}}{\bigg}}}$
카이스트 다이버전스:	${\displaystyle D_{\chi ^{2}}(p,q)=\int {(p(x)-q(x)}^{2}} {p(x)}}}}}}} embridge}$
(α,β)-제품[citation needed] 발산:	${\displaystyle D_{\alpha,\big}(p,q)=sqfrac {2}{(1-\alpha)(1-\big)}\int {\tfrac {q(x)}{p(x)}}{\Big!{\frac {1-\alpha}{2}}{\Big}{\tfrac {q(x)}{p(x)}}{\Big!{\frac {1-\beta}{2}}{\Big}}p(x)dx}$

브레그만 발산

브레그만 분기는 볼록 집합의 볼록 함수에 대응한다.Bregman 발생기로 알려진 볼록 집합에서 엄밀하게 볼록하고 연속적으로 미분 가능한 함수 F가 주어졌을 때, Bregman 확산은 볼록성을 측정한다. 즉, q에서 F의 선형 근사의 오차는 p에서의 값의 근사치이다.

${\displaystyle D_{F}(p,q)=F(p)-F(q)-\langle\langle F(q),p-q\rangle.}$

브레그만 발산으로의 이중 발산이란 원래 발산인 브레그만 발생기의 볼록 켤레^* F에 의해 생성된 발산이다.예를 들어, 유클리드 거리 제곱의 경우 생성기는 x $({$ x$^{2$이고 상대 엔트로피의 경우 생성기는 $음$의 엔트로피 ${\displaystyle x}$ 로그${\displaystyle \delta }$x({$displaystyle x\log$x$\})$입니다.

역사

"분산"이라는 용어의 사용(즉, 함수와 다양한 통계적 거리)은 시간이 지남에 따라 크게 달라졌지만, 2000년경에는 특히 교과서 Amari & Nagaoka(2000)[1]에서 정보 기하학 내의 현재 사용에 대해 결정되었다.

통계적 거리에 대한 "분산"이라는 용어는 1910년부터 1940년까지 다양한 맥락에서 비공식적으로 사용되었다.공식적인 사용은 적어도 바타차리야 거리를 정의한 "확률 분포에 의해 정의된 두 통계 모집단 간 발산 측정"이라는 제목의 바타차리야(1943년)와 바타차랴를 정의한 "두 다항 모집단 간 발산 측정"이라는 제목의 바타차랴(1946년)로 거슬러 올라간다.ngle. 이 용어는 Kullback & Leibler(1951)의 Kullback-Leibler diversion과 교과서 Kullback(1959)에서의 사용에 의해 대중화되었다."분산"이라는 용어는 일반적으로 Ali & Silvey(1966)가 통계적 거리를 위해 사용했다.Adhikari & Joshi(1956년)와 Kullback(1959년, 페이지 6-7, 1.3 Divergence)에 통계적 거리 사용에 대한 많은 언급이 있다.

Kullback & Leibler(1951)는 비대칭 함수를 "구별을 위한 평균 정보"라고 언급하면서 대칭적 발산(이 함수는 1948년에^[9] 해롤드 제프리스에 의해 이미 정의되어 사용됨)을 언급하기 위해 실제로 "분산"을 사용했다.반면 ^[10]Kullback(1959)은 비대칭 함수를 "방향적 발산"^[11]이라고 언급했다.알리&Silvey(1966년)일반적으로"발산 계수"로 그러한 기능할 것이라고 하며, 기존의 많은 기능 f-divergences로,"수렴각 제프리스의 사람됨을 꿰뚫어"(오늘"Jeffreys 발산")로 제프리스의 기능, 그리고 Kullback–Leibler의 비대칭 기능(각 방향으로)에 Kullback's"이라고 표현될 수 있는 것을 보였다 언급했다.한d 라이블러의 차별적 정보 측정치(오늘날 "컬백-라이블러 발산").^[12]

발산(이 기사의 주제)의 정보 기하학적 정의는 "준거리" Amari(1982, 페이지 369) harvts 오류를 포함한 대체 용어로 처음 언급되었다. CITREFAmari1982(도움말) 및 "대조 함수" Eguchi(1985)는 Amari no harvtschi(1985) 오류에서 "분산"를 사용했다.85(도움말)이며 ^[1][2]일반 클래스의 표준이 되었습니다.

"분산"이라는 용어는 거리(미터)와 대조적이다. 대칭화된 분산은 삼각 ^[13]부등식을 만족시키지 않기 때문이다.예를 들어, "Bregman distance"라는 용어는 여전히 존재하지만 "Bregman diversion"이라는 용어가 선호됩니다.

통지에 따라 Kullback & Leibler(1951)는 비대칭 함수를${\displaystyle }$I$($$:2)$로 나타내고, Ali & Silvey(1966)는 소문자 'd'를 d${\displaystyle ({}_{}{}_{}}$ $)$로 나타냅니다(\$displaystyle d\left(P_1}, P_{2$

「 」를 참조해 주세요.

• 통계적 거리

메모들

레퍼런스

참고 문헌