증거하한

변동 베이지안 방법에서, 증거 하한(흔히 ELBO라고 하는 축약형 ELBO, 때로는 변동 하한^[1] 또는 음의 변동 자유 에너지라고도 함)은 일부 관측된 데이터의 로그 우도에 대한 유용한 하한이다.

Throughout this article, let ${\displaystyle \mathbf {X} }$ and ${\displaystyle \mathbf {Z} }$ be multivariate random variables, jointly-distributed with distribution ${\displaystyle P}$. So, for example ${\displaystyle P(\mathbf {X} )}$ is the marginal distribution of ${\displaystyle \mathbf {X}$$}$, and ${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )}$ is the conditional distribution of ${\displaystyle \mathbf {Z} }$ given ${\displaystyle \mathbf {X} }$. Then, for any distribution ${\displaystyle Q(\mathbf {Z} )}$, we have^[1]

이 불평등의 오른쪽을 하한, 즉 ELBO라고 부른다.우리는 위의 불평등을 ELBO 불평등이라고 부른다.

ELBO는 다양한 베이지안 방식으로 자주 나타난다.그런 맥락에서 랜덤 변수 $X{\displaystyle \mathbf{}}$ ${\$는) 개념적으로$$ 관측 가능한 데이터를 나타내고, 변수 $Z{\displaystyle \mathbf{}}$ ${\$ $\$$mathbf {Z}은($는) 잠재적이고 관측할 수 없는 데이터를 나타내며$$, $P{\displaystyle }$ ${\$$displaystyle$ $P}$은 $X{\displaystyle \mathbf{}}$ ${\$과 $Z$의 실제 공동 분포를 나타낸다$$$.$$style \mathbf {Z} }$. We often wish to find an approximation of the true posterior distribution ${\displaystyle P(\mathbf {Z} \mid \mathbf {X} )}$ via a simpler, usually parametric, distribution, and this is what ${\displaystyle Q(\mathbf {Z} )}$ conceptually represents.$Q{\displaystyle }$ ${\displaystyle Q}$을(를) 찾는 것이 최적화 문제로 프레임화될 수 있으며$$, 그러한 맥락에서 ELBO 불평등은 최적화 목표를 얻기 위해 종종 사용된다.

용어와 표기법

변동 베이지안 방법의 용어로는 $분포{\displaystyle }$ P${\displaystyle }$( ${\displaystyle X\mathbf{}}$) ${\displaystyle P(\mathbf {X} )}$을(를) 증거라고 한다$$.로그 기능이 단조적이기 때문에 ELBO 불평등은 다음과 같이 증거에 대한 하한을 부여하기 위해 다시 쓰여질 수 있다.

따라서 이름 증거는 하한선이다.일부 저자들은 ${\displaystyle \mathrm{로그}}$ ${\displaystyle P}$ ( $){\displaystyle \log$ P$(\mathbf {X}$)를 의미하기 위해 증거라는 용어를 사용하며$,$ 이 경우 불평등의 원래 형태는 이미 증거에 대한 하한선을 부여한다.Some authors call ${\displaystyle \log P(\mathbf {X} )}$ the log-evidence, and some use the terms evidence and log-evidence interchangeably to refer either to ${\displaystyle P(\mathbf {X} )}$ or to ${\displaystyle \log P(\mathbf {X} )}$.

ELBO는 때때로 다음과 같이 $L{\displaystyle }$ ${\displaystyle$ $L{\displaystyle }$$\},$ L $Q$ ${\displaystyle$ L($Q)}$또는 L ${\displaystyle (Q)}${\$displaystyle$ {\$mathcal {\$mathcal$}(Q)$로 표시된다$.$

엄밀히 말하면, ${\displaystyle L}$( Q${\displaystyle }$) ${\displaystyle {\mathcal{L}(Q)}$이(가) $이렇게$ 정의한 수량 자체가 X ${\$와) 공동으로 분배된 랜덤 변수다$.$

엔트로피와의 관계

ELBO는 섀넌 엔트로피, 미분 엔트로피, 교차 엔트로피의 개념과 밀접하게 관련되어 있다.Abusing notation somewhat, we may write ${\displaystyle {\mathcal {L}}(Q)=H(Q)-H(Q,P)}$, where ${\displaystyle H}$ represents Shannon or differential entropy depending on whether our random variables are discrete or continuous, and ${\displaystyl$$e H(Q,P)=H(Q(\mathbf {Z} ),P(\mathbf {X} ,\mathbf {Z} ))}$ represents the cross-entropy between ${\displaystyle Q(\mathbf {Z} )}$ and ${\displaystyle P(\mathbf {X} ,\mathbf {Z} )}$ as a function of ${\displaystyle \mathbf {X} }$.

컬백-라이블러 발산과의 관계

ELBO 불평등은 KL-diversity가 항상 부정적이기 때문에 도출될 수 있다.을 관찰하다.

여기서 $D{\displaystyle {}_{}}$ ${\displaystyle {K\mathrm{}}_{}}$ ${\displaystyle {\mathrm{L}}_{}}$ ${\$은(는) Kullback-Leibler 분기점이다.The desired inequality follows trivially from the above equation because ${\displaystyle D_{\mathrm {KL} }(Q(\mathbf {Z} )\parallel P(\mathbf {Z} \mid \mathbf {X} ))\geq 0}$.

최적화 동기와 사용

다양한 베이지안 방법의 맥락으로 돌아가면,

${\displaystyle 분포\mathbf{}}$ $Q{\displaystyle }$( Z${\displaystyle }$) ${\displaystyle$ Q$(\mathbf {Z})}$ 근사$$ $P{\displaystyle (Z\mathbf{}}$ ${\displaystyle \mid }$ $){\displaystyle P(\mathbf {Z} \mid \mathbf {X})$를 찾는 작업은 두 분포 간의 차이 측정을 최소화하기 위해 모색하는 최적화 문제로 프레임을 구성할 수 있다$$.그러한 측정 중 하나는 매우 일반적으로 사용되는 KL-diversity인데, 이를 상대 엔트로피라고도 한다. (확률 분포 간의 차이를 측정하는 다른 수량에 대해서는 diversity 관련 기사를 참조한다.)왜냐하면

it follows that minimizing ${\displaystyle D_{\mathrm {KL} }(Q(\mathbf {Z} )\parallel P(\mathbf {Z} \mid \mathbf {X} ))}$ is equivalent to maximizing the ELBO ${\displaystyle {\mathcal {L}}(Q)}$. The quantity ${\displaystyle {\mathcal {L}}(Q)}$ can be taken as aML 과제 및 분포 근사치를 포함하는 아키텍처(예: 변동 자동 조정기)에서의 학습 목표.$L{\displaystyle \mathcal{}}$( ${\displaystyle Q}$) ${\displaystyle {\mathcal$ {\mathcal${L}}(Q)}$이(가) 최적화 대상으로 일반적으로 사용되는$$ 이유는 진정한 $후면{\displaystyle }$ P${\displaystyle }$(${\displaystyle Z\mathbf{}}$ ${\displaystyle \mid }$ X${\displaystyle }$) ${\displaystyle P(\mathbf {Z} \mathbf {X})}$이(가)될$$ 수 없는 경우에 종종 계산될 수 있기 때문이다.

참조