교차 엔트로피

정보 이론
엔트로피 미분 엔트로피 조건부 엔트로피 관절 엔트로피 상호 정보 조건부 상호 정보 상대 엔트로피 엔트로피율 이산점 밀도 제한
점근 등분할 특성 속도 왜곡 이론
섀넌의 소스 부호화 정리 채널 용량 노이즈 채널 부호화 정리 섀넌-하틀리 정리
v t

정보 이론에서, 집합에 사용되는 부호화 방식이 추정된 확률 분포에 최적화되어 있는 경우, 동일한 기본 이벤트 세트에 대한 두 확률 $분포{\displaystyle }$ p$\displaystyle$ p$\$와$$q\$displaystyle$q 사이의$$ 교차 엔트로피는 집합에서 도출된 이벤트를 식별하기 위해 필요한 평균 비트 수를 측정한다.$실제{\displaystyle }$ $분포{\displaystyle }$p가 아닌 n$\$$displaystyle$q$.$

정의.

특정 세트의 분포$$$p$에$$대한 $분포{\displaystyle }$ q\displaystyle$$ q\displaystyle$$$$p$\$의 교차 엔트로피는 다음과 같이 정의됩니다.

${\displaystyle H}$(${\displaystyle p}$ ,${\displaystyle }$q ) $=$ - ${\displaystyle E_{}}$ p ${\displaystyle [}$ [ $]{$ $displaystyle$H ($p$ , q )= - \$operatorname${ $E$} $_${ $p$} [ \ $log$ q$$]$$、

${\displaystyle {여기}_{}}$서 E${\displaystyle {}_{}}$p [$]{style E_{p}[\cdot$]는 분포$$ $\style$ p$\}$에 대한 기대치 연산자입니다.

이 정의는 Kullback-Leibler ${\displaystyle {divergence\mathrm{}}_{}}$ $DK$ L ${\displaystyle {(}_{}}$ p$q ){\mathrm$ {KL$}(p\parallel$q$)\},$$$p$\$$display style$ p$}$의 q\$display style$$$$q{\displaystyle }$}$$에서$qstyle$로의 display p\$display$ stylel $p$$\$stylel q}$$의$$ 상대 엔트로피로 표현됩니다.

${\displaystyle H(p,q)=H(p)+D_{\mathrm {KL} }(p\parallel q),}$

$여기$서 H$)$ {$displaystyle$ H$(p)}$는 p$${$displaystyle$ p$\}$의 엔트로피입니다.

$이산{\displaystyle \mathcal{}}$ 확률 $분포{\displaystyle }$ p$\displaystyle$ $p$\displaystyle 및 q\displaystyle$$$$q의 $경우$ X\displaystyle\$mathcal {X}$는 다음을 의미합니다.

연속 분포의 상황은 유사합니다.p$\displaystyle$ p$\$ $및$ q\$displaystyle$q는$$ 일부 참조 $측도{\displaystyle }$ r$\displaystyle$ r$($$보통{\displaystyle }$ r$\displaystyle$r은$$ 보렐 θ-대수의 르베게 측도)에 대해 절대적으로 연속적이라고 가정해야 합니다.$P{\displaystyle }$$(\displaystyle$ P$$$)$ 및 Q(\$displaystyle$Q)를 r$$$(\displaystyle$ r$)$에 대한 p$(\displaystyle$ p$)$ $및$ q$(\$$displaystyle$q)의 확률 밀도 함수라고 $합니다{\displaystyle }$.

${\displaystyle -\int _{\mathcal {X(x),\log Q(x),dr(x)=\operatorname {E}_{p}[-\log Q]}$

그렇기 때문에

NB: H${\displaystyle }$(${\displaystyle p}$ ,${\displaystyle q}$ $){$ $displaystyle$H ($p$ ,$q$ ){ $displaystyle$ p$$}$및$ q{ $displaystyle$q$\}$의 $공동{\displaystyle }$ 엔트로피에도 사용됩니다.

동기

정보이론에서$$크래프트-맥밀란 정리는 ${\displaystyle {}_{}}$를 코드화하기 위한 직접${\displaystyle {}_{}}$디코딩 $가능$한 $부호화$$스킴이$암묵적$$$분포의 가능성$을 ${\displaystyle {}_{}}$ $것$으로 ${\displaystyle {보일}_{}}$ 수 $있음$을 확립한다$.$$ion{\displaystyle }$q ( ${\displaystyle x_{}}$i ) ${\displaystyle {}^{}}$ ( ${\displaystyle {1\frac{\mathrm{}}{}}^{}}$ ${\displaystyle {\frac{2}{}}^{}}$) ${\displaystyle {{\ell }_{}}^{}}$ ii ${$ $display style$q ( x$_$ {$$$i$ ) }$=\display$$\$frac ${1}{2$}}\right$)^{\$$ell$$_{i$}$over${ x${\displaystyle }$1,${\displaystyle }$…, ${\displaystyle {}_{}}$ n$}$ {$displaystyle$ \$x_{1},\$ldots$,x_$${$n$\}\}$ 。$여기$서$$ $i$\ displaystyle $\ell _${$i$}는$xi}$ 비트의 ${\displaystyle {코드}_{}}$ 길이입니다.따라서 데이터가 실제로 $분포{\displaystyle }$p\$displaystyle{\displaystyle }$ p$\displaystyle$ p$\backslash$displaystyle p\displaystyle p\$d$가 아닌 $실제{\displaystyle }$ 확률$$ 분포 p\$displaystyle$ p$\$displaystyle p$\$$d$에 대한 기대를 갖는 것은 데이터당 메시지 길이$($message-length$)$로 해석할 수 있다.$isplaystyle$q$.$ 실제로 실제 분포 $\displaystyle$p에서$$ 예상되는 메시지 길이는

${\displaystyle \operatorname {E}_{p}[\ell]=-\operatorname {E}_{p}}{\ln(2)}}{\right]=-\operatorname {E}_{p}\left[\log {2}{q(x}\sum]=}$

견적

교차 엔트로피를 측정해야 하는 상황은 많지만$p$의 $분포$는 알 수 없습니다$.$예를 들어 언어 모델링은 교육 $세트{\displaystyle }$ T$(\displaystyle$ T$)$를 기반으로 모델을 만든 다음 테스트 세트에서 교차 엔트로피를 측정하여 모델이 테스트 데이터를 얼마나 정확하게 예측하는지 평가합니다.이 예에서 $\displaystyle$p는$$ 말뭉치 내의 단어들의 진정한 $분포$이고$$q\$displaystyle$q는 모델에$$ 의해 예측된 단어들의 분포입니다.실제 분포를 알 수 없기 때문에 교차 엔트로피를 직접 계산할 수 없습니다.이러한 경우 교차 엔트로피의 추정치는 다음 공식을 사용하여 계산됩니다.

${\displaystyle H(T,q)=-\sum _{i=1}^{N}{\frac {1}{N}}\log _{2}q(x_{i})}$

$여기$서$$N(\$displaystyle$ N$)$은 테스트 세트의 $크기$이고${\displaystyle }$q($)$ {$displaystyle$q($x)}$는 교육 세트로부터 $추정$된 이벤트$$x(\$displaystyle$ x$$$)$의 확률입니다.즉,${\displaystyle }$q ( ${\displaystyle x_{}}$i$$) { $display style$q ( $x$_ { $i$} )는 텍스트의 i번째 단어가 x$i일$ 확률 추정치입니다.합계는 테스트의$$N개 단어(\$style$ N$)$에 걸쳐 평균됩니다.이것은 진정한 교차 엔트로피의 몬테 카를로 추정치이며, 여기서 테스트 세트는 p${\displaystyle }$(${\displaystyle x}$) {$displaystyle$ p$(x$^{[citation needed]}의 샘플로 취급됩니다.

최대우도와의 관계

분류 문제에서 우리는 다른 결과의 확률을 추정하려고 한다.$결과{\displaystyle }$i의$$ 추정 확률(${\displaystyle X}$ ${\displaystyle =i}$)({$displaystyle q_{\theta$}(X$$= i$)$을 $최적화{\displaystyle {}_{}}$ 매개변수$\theta {\displaystyle }$(\$displaystyle \theta$})로$$ 하고 교육 집합에서 $결과{\displaystyle }$i의$$ 빈도(\$displaystyle$i$)$를 p$(X = displaystyle px$로 합니다$.$교육 세트에 N개의 조건부 독립 샘플이 있을 경우, 교육 세트에 $모델{\displaystyle {}_{}}$ ${\displaystyle q_{}}$ ${\displaystyle {}_{}}$ ( X ${\displaystyle =x}$)의 $매개변수{\displaystyle }$ ${\$ ( \ $displaystyle$$$\$theta$$$$}$( X$= x$ )의$$$$ 가능성은 다음과 같습니다.

${\displaystyle {\mathcal {L}}(세타)=\display_{i\in X}({\mbox{est}).}i)^{{\mbox{}i}=\contract_{i}q_{\theta}(X=i)^{Np(X=i)}}}의 확률$

따라서 로그 우도를 N$(\displaystyle$ N$)$으로 나눈 값은

${\displaystyle {\frac {1}{N}}\log({\mathcal {L}}(\theta)}=\log frac {1}{n}{i}(X=i)^{Np(X=i)\log q_{ta}(X) =\sum _{i}$

$따라서{\displaystyle }$ 파라미터 ${\(\displaystyle \theta)$에 대한 우도를 최대화하는 것은 교차 루트를 최소화하는 것과 같습니다.

교차 엔트로피 최소화

교차 엔트로피 최소화는 최적화 및 희귀 사건 확률 추정에 자주 사용됩니다.$분포q$와$고정$ 기준$$ $분포{\displaystyle }$ p$\displaystyle$$$p\displaystyle p$\backslash$displaystyle p$=$때 교차값과 KL 발산값은 가산 상수와 동일합니다(p$\$$displaystyle$ p$\}$는 $고정$되어 $있으므로{\displaystyle }$$).$$KL$ 발산인 $경우{\displaystyle \mathrm{}}$ e$$0$$}, 교차 ^{[citation needed]}엔트로피인 경우${\displaystyle }$H (${\displaystyle p}$) \$displaystyle \mathrm {H}(p$$)}.$공학 문헌에서는 KL 발산을 최소화하는 원리(컬백의 "최소 식별 정보의 원리")를 종종 최소 교차 엔트로피(MCE) 또는 최소 엔트로피(Minxent)라고 부릅니다.

단, Kullback-Leibler divergence 기사에서 설명한 바와 같이 $분포{\displaystyle }$q(\$displaystyle q$$)$가 고정 사전 참조 분포인 경우가 $있으며{\displaystyle }$ 분포$p$(\$displaystyle$ p$)$는 가능한 한$$q(\$displaystyle$q)에 가깝게 최적화되어 있습니다.이 경우 두 최소화는 동일하지 않다.이로 인해 일부 저자는 크로스 엔트로피를 H$p$,$q$)가 아닌 ${\displaystyle {\mathrm{DK}}_{}}$ L${\displaystyle {(}_{}pq}$q$$)(\$displaystyle D_{\mathrm${KL$}$$p\parallel$q$)$로 재정의함으로써 모순을 해결하려고 시도하고 있습니다.

교차 엔트로피 손실 함수 및 로지스틱 회귀 분석

교차 엔트로피는 기계 학습 및 최적화에서 손실 함수를 정의하는 데 사용할 수 있습니다.실제 $확률{\displaystyle {}_{}}$ $(\$})가$$ 실제 라벨이고 지정된 $분포{\displaystyle {}_{}}$ $(\$가 현재 모델의 예측값입니다.이는 로그 손실(또는^[1] 로그 손실 또는 로지스틱 손실)^[2]이라고도 하며, "로그 손실"과 "교차 엔트로피 손실"이라는 용어가 서로 ^[3]호환되게 사용됩니다.

보다 구체적으로 관측치를 두 가지 가능한 클래스(종종 $\$$displaystyle$ 0$\$$display$ 1)로 분류하는 데 사용할 수 있는 이진 회귀 모델을 고려합니다.입력 $특징{\displaystyle }$x {\$displaystyle$x$\}$의 벡터가 주어진 특정 관측치에 대한 모델의 출력은 관측치를 분류하기 위한 기초가 되는 확률로 해석될 수 있습니다.로지스틱 회귀 분석에서 확률은 로지스틱 $함수{\displaystyle }$g (${\displaystyle z}$ ) ${\displaystyle =1}$/ ($1$ +${\displaystyle {}^{}}$ -${\displaystyle {}^{}{z}^{}}$) { $displaystyle$ g$(z$) =$1$/ ( 1 + $e^{-z}}}$을 사용하여 모델링됩니다. $여기$서$$z {$displaystyle$z}는$$ 일반적으로 선형 $함수$인 입력 $벡터{\displaystyle }$x {\$displaystyle$x$\}$의 일부 함수입니다.$출력{\displaystyle }$ y ${\displaystyle =}$ $(\displaystyle$ y$=1)$의 확률은 다음과 같습니다.

${\displaystyle q_{y=1}=sysloghat {y}\equiv g(\mathbf {w} \cdot \mathbf {x} )=syslogfrac {1}{1+e^{-\mathbf {w} \cdot \mathbf {x}}}}}}}.$

여기서 무게 $벡터{\displaystyle \mathbf{}}$ w$\$는 경사 강하와 같은 적절한 알고리즘을 통해 최적화된다.마찬가지로 출력 $y{\displaystyle }$ ${\displaystyle =}$ $(\displaystyle$ y$=0)$을 찾을 수 있는 보완 확률은 다음과 같습니다.

${\displaystyle q_{y=0}=1-{\hat {y}}$

$표기법{\displaystyle }$ p ${\displaystyle \{}$ {${\displaystyle y}$ , ${\displaystyle 1}$- ${\displaystyle y}$ $}$ { $displaystyle$p \ $in \$ { y ,${\displaystyle 1\stackrel{}{}}$ -${\displaystyle \stackrel{}{}}$y$$\${\displaystyle \}}q$ ${\displaystyle \{}$ {$displaystyle$ \ $in$\ { \$hat$ { y$$} , 1 - { \$hat$ { $y$}$$$}$ q q q,,, ,,,,,,,ropyropyropy, ,,,,,,,${\displaystyle ropyropyropy\stackrel{}{}}$,,,,ropyropystylestylestylestylestyle$$$stylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestylestyle$

${\displaystyle H(p,q)\=\sum _{i}\log q_{i}\=\y\log {y}-(1-y)\log(1-{\hat {y}}}}$

로지스틱 회귀 분석은 일반적으로 학습된 모든 관측치에 대해 로그 손실을 최적화하며, 이는 표본의 평균 교차 엔트로피를 최적화하는 것과 같습니다.예를 들어, 각 샘플이 n ${\displaystyle =1}$,${\displaystyle \dots ,}$ ${\displaystyle N}${\$displaystyle$ n$=1,\display, N$으로 색인화된$N개$의 {$displaystyle$ N$}$개$$ $샘플$이 있다고 가정합니다. 손실 함수의 평균은 다음과 같습니다.

${\displaystyle {begin {w}\\\mathbf {w}\\\\frac {1}{N}\sum _n=1}^{N}\= - {\frac {1}{N}\sum {n=1}^{n}\{big}$

$여기$서 y${\displaystyle {\stackrel{}{}}_{}}$^ ${\displaystyle n{}_{}(}$ ${\displaystyle g\mathbf{}}$ ( w ${\displaystyle \cdot }$ ${\displaystyle {}_{}}$) ${\displaystyle =1}$/ ( ${\displaystyle 1}$+${\displaystyle {}^{}}$ - $w$ ${\displaystyle {\cdot }^{}}$ ${\displaystyle {{}_{}}^{}}$ )$$\$equiv$ g ( \$mathbf { w }$ \ $cdot$\$mathbf${ $x } _$ { n } $= 1$/ ($1$ + $e^$ { - \ $mathbf${$w }$ ) _$cdot$\$mathbf${ $n$} ) 、

로지스틱 손실은 교차 엔트로피 손실이라고도 합니다.로그 손실이라고도 합니다(이 경우 이진 레이블은 종종 {-1,+1}^[4]로 표시됩니다).

비고: 로지스틱 회귀 분석의 교차 엔트로피 손실의 기울기는 선형 회귀 분석의 오차 손실 제곱의 기울기와 동일합니다.즉, 다음과 같이 정의합니다.

${\displaystyle X^{T}=begin{pmatrix}1&x_{11}&\dots &\x_{1p}\x_{2p}&\cdots &\vdots &\vdots &\cdots &\pmathbbps}\x_{p}\cdots\cdots\cdots &\cdots {n1}\pmatrix}$

${\displaystyle {y_{i}}=hat {f}(x_{i1},\display,x_{ip})=hat frac {1+\exp\display_{0}-\display_{1}x_{i1}-\display-\display_{p}x_{ip}}}}}}}}}}}$

${\displaystyle L({\overrightarrow {y}})=-\sum _{i=1}^{N}[y^{i}\log {y}^{i}+(1-y^{i})\log(1-{\hat {y}^{i}}) }$

그럼 결과가 나왔군

$(\displaystyle {\frac } {\fright arrow } = X^{T }({\hat {Y}-Y)})$

그 증거는 다음과 같습니다.$($표시 $스타일)^{y}^{$i$\})$에 대해

$\displaystyle\frac{\frac{0}\ln\frac{1}{1+e^{-\frac}+k_{0}}}}}}=paramfrac {e^{-\param _{0}+k_{0}}{1+e^{-\param _{0}+k_{0}}}}}}}$

${\displaystyle {\frac}{\frac {1}{1+e^{-\frac}+k_{0}\ln \left(1-{\frac {1})}}}}\right) = param frac {-1}{1+e^{-\param _{0}+k_{0}}}}}}$

${\displaystyle {\frac } {\frac \frac } {\fright arrow {\fright } {{i=1}^{N} \left[{\frac {y^{i}\cdot e^{-\frac _ 0+k_0} {1}} L(\frac {\fright })}}}}\right]\\&=-\sum _{i=1}^{N}[y^{i}-{\hat {y}^{i}=\sum _{i=1}^{N}({\hat {y}^{i}-y^{i})\end {aligned}}}$

${\displaystyle\frac{\frac{1}\ln {1+e^{-\frac_{1}x_{i1}+k_{1}}}}}}=paramfrac {x_{i1}e^{k_{1}}{e^{\param_{1}x_{i1}}+e^{k_{1}}}}}$

${\displaystyle {\frac}{\frac {1}\ln \left[1-{\frac {1}{1+e^{-\flac _ {1}x_{i1}+k_{1}}}}}\right] = param frac {-x_i1}e^{\param _{1}x_{i1}}{e^{\param _{1}x_{i1}}+e^{k_{1}}}}}$

${\displaystyle {frac } {\frac } {\frightarrow } = -\sum _ {i=1} {i1} x_{i1}(y^{i} - {\hat {y}) = \sum _{i=1}^{n} x_i} {i} {y} {y} {\hat}$

비슷한 방법으로 우리는 결국 원하는 결과를 얻을 수 있다.

「 」를 참조해 주세요.

• 교차 엔트로피법
• 로지스틱 회귀 분석
• 조건부 엔트로피
• 최대우도 추정
• 상호 정보

레퍼런스

외부 링크

• 교차 엔트로피