개시점수

인셉션 스코어(IS)는 생성적 적대 네트워크(GAN)^[1]와 같은 생성적 이미지 모델에 의해 생성된 이미지의 품질을 평가하는 데 사용되는 알고리즘입니다.점수는 생성 모델에 의해 생성된 샘플(일반적으로 약 30,000개)의 영상에 적용된 별도의 사전 교육 Inceptionv3 영상 분류 모델의 출력을 기반으로 계산됩니다.인셉션 점수는 다음 조건이 충족될 때 최대화됩니다.

1. 생성된 영상에 대해 Inceptionv3 모델에 의해 예측된 라벨 분포의 엔트로피가 최소화됩니다.즉, 분류 모델은 각 이미지에 대해 자신 있게 단일 레이블을 예측합니다.직관적으로 이는 생성된 이미지의 "선명한" 또는 "구분적인" 요구에 해당합니다.
2. 분류 모형의 예측은 가능한 모든 레이블에 고르게 분포되어 있습니다.이는 생성 모델의 출력이 "다양"^[2]하다는 요구에 해당합니다.

관련 프레셰 개시 ^[3]거리로 다소 대체되었다.Inception Score는 생성된 영상의 분포만 평가하는 반면 FID는 생성된 영상의 분포를 실제 영상의 분포("실제 사실")와 비교합니다.

정의.

이미지 ${\displaystyle {\omega }_{}}$X $공간(\displaystyle$ \Omega _$${$X})$과 라벨 ${\displaystyle {\omega }_{}}$Y 공간(\$displaystyle \Omega$ _${Y$의 공간을 지정합니다.라벨의 공간은 한정되어 있습니다.

${\displaystyle {\mathrm{pg}}_{}}$ ${\displaystyle n_{}}$\ $displaystyle p_$${gen$$}$을(를$)$ 판단하고 싶은 ${\displaystyle {\delta }_{}}$X에 대한 확률 $분포$로 $합니다$.

판별자를 유형의 함수로 한다.

$${\displaystyle p_{dis}:\Omega _{X}\to M(\Omega _{Y})}$$

$여기$서 M${\displaystyle }$( ${\displaystyle {\omega }_{}}$Y$$) ( \ $displaystyle M$ ( \ $Omega$$$_ { $Y$$$$}$ )는$$ ${\displaystyle {\omega }_{}}$Y ( \ $display style$ _$${ Y } $)$의 모든 확률 분포 세트입니다.이미지 x$$( \ $displaystyle$x$$)및 $라벨{\displaystyle }$y ( \ $displaystyle$y$$)의 경우,$식별자$에 따르면 p ${\displaystyle {\mathrm{di}}_{}}$ ${\displaystyle s{}_{}}$( ${\displaystyle y}$x$$) { $display$ p$_$ { $dis$} ( $y x$ )는$$ $이미지{\displaystyle }$x {\ $display style$ x$}$에 라벨$$y {\ $displaystyle$ y$\}$가 붙을 확률입니다.보통 ImageNet에서 훈련받은Inception-v3 네트워크로 구현됩니다.

${\displaystyle {\mathrm{pdi}}_{}}$ $({$에 대한 ${\displaystyle {\mathrm{pg}}_{}}$ $({$의 인셉션 점수는 다음과 같습니다.

$$({displaystyle IS(p_{gen},p_{dis}):=\exp \left(\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(\cdot x)\int p_{dis}(\cdot x)p_{gen}(x)\right]$$

$$(\displaystyle \ln IS(p_{gen},p_{inc}):=\mathbb {E} _{x\sim p_{gen}\left[D_{KL}\left(p_{dis}(\cdot x)\mathbb {E}_{x\sim p_{gen}}}[p_{dis}(\cdot x)]\right]$$

$$(\displaystyle \ln IS(p_{gen},p_{dis}):=H[\mathbb {E}_{x\sim p_{gen}}[p_{dis}(\cdot x)]]-\mathbb {E}_{x\sim p_{gen}}][H[p_{dis}(\cdot x)]]}$$

$I는$$$Jensen의 부등식에 의해 음이 아닙니다$.$

유사 코드:

INPUT $식별자{\displaystyle {}_{}}$ ${\displaystyle p_{}}$ ${\displaystyle {\mathrm{di}}_{}}$ s $\$

INPUT $제너레이터{\displaystyle }$ g$\displaystyle$ g$.$

제너레이터의 $이미지{\displaystyle {}_{}}$ ${\displaystyle x_{}}$ i$($표시 $스타일 x_{i$}) 샘플$$.

${\displaystyle p_{}}$ ${\displaystyle {\mathrm{di}}_{}}$ s${\displaystyle {}_{}}$(${\displaystyle x{}_{}}$ ${\displaystyle x_{}}$i$$) ( \ $displaystyle p$ _ { $dis$} ( \$cdot$ x _ { i$$} )$$。$이미지{\displaystyle {}_{}}$ x$$ \ $displaystyle x$_ {$i$} image condition 。

결과를 종합하여 p$^(\$을 $구합니다{\displaystyle \stackrel{}{}}$.${\displaystyle {}_{}}$ 값은${\displaystyle i_{}}$ p ${\displaystyle {\mathrm{di}}_{}}$s (${\displaystyle {}_{}}$x ) ${\displaystyle p_{}}$ g ${\displaystyle e_{}{n}_{}}$ (${\displaystyle x}$ ) ${\displaystyle d}$ \ $display$style \$int$ p_${dis}(cdot$x) $p_{gen}(x$ $dx$ 입니다.

제너레이터에서 더 ${\displaystyle {많은}_{}}$ $이미지{\displaystyle {}_{}}$ x$\$를 샘플링하여 각각 ${\displaystyle {\mathrm{DK}}_{}}$L ( ${\displaystyle p_{}}$ ${\displaystyle {\mathrm{di}}_{}}$ s${\displaystyle {}_{}}$(${\displaystyle x{}_{}}$ x${\displaystyle {}_{}{i}_{}}$ )${\displaystyle p\stackrel{}{}}$ p${\displaystyle \stackrel{}{}^}$) { $displaystyle D_{KL$} \$left$ ( $p$_ { dis } \ $cdot$ x _ { $i }$ \ $hat${$p}$ \ $right$ $)$를 $계산$합니다.

결과를 평균화하고 지수를 구합니다.

결과를 반환합니다.

해석

${\displaystyle {\mathrm{pg}}_{}}$ ${\displaystyle e_{}}$n { $displaystyle p_{gen}$은 선명하고 뚜렷한 이미지 컬렉션이기 때문에 초기 점수가 높을수록 "더 나은" 것으로 해석됩니다.

${\displaystyle \ln }$I ${\displaystyle S}$( ${\displaystyle p_{}}$ ${\displaystyle g_{}}$ e${\displaystyle {}_{}{n}_{}}$ , ${\displaystyle p_{}}$ ${\displaystyle d_{}}$ i${\displaystyle {}_{}{s}_{}}$ )${\displaystyle }$[ [${\displaystyle }$0 , ${\displaystyle \ln n}$N $]{$ $display$style \$ln$ IS ( $p$_ {$gen$ , p$_$ { $dis$}\$in$[ $0$, \ $display style$ N$$$}$。$여기$서$$N은 사용$$ 가능한 라벨의 총수입니다.

${\displaystyle {}_{}i}$ I${\displaystyle S}$ ( p ${\displaystyle g_{}}$ ${\displaystyle e_{}}$n , ${\displaystyle p_{}}$ d ${\displaystyle i_{}}$ ${\displaystyle s_{}}$ )${\displaystyle {}_{}=}$ ${\displaystyle 0}${ \ $displaystyle \ln$ IS ($p$_ {$gen$ , p$_$ { $dis$ } =$0$} iffff$$ (${\displaystyle }$x ~${\displaystyle p_{}}$ ${\displaystyle g_{}}$n \ $displaystyle$x \ $sim p$_ {$gen$ } )

$${\displaystyle p_{dis}(\cdot x)=\int p_{dis}(\cdot x)p_{gen}(x)p_{gen}(x)filen}$$

즉, ${\displaystyle {\mathrm{pg}}_{}}$ ${\displaystyle {\mathrm{en}}_{}}$（ $display$ style $p_{gen}$ ）는$$ 완전히 "불명확한" $상태$입니다.즉, ${\displaystyle {\mathrm{pg}}_{}}$ ${\displaystyle e_{}}$n {\$displaystyle$ $p_{$$gen$$\}\}$에서 샘플링된 $이미지{\displaystyle }$x {\$displaystyle$$$x$}$에 대해 식별자는 정확히 동일한 라벨 $예측{\displaystyle {}_{}}$ ${\displaystyle p_{}}$ ${\displaystyle {\mathrm{di}}_{}}$ s${\displaystyle {}_{}}$x $)$를 반환합니다.

최고 개시 점수 N$(\displaystyle$ N$)$은 다음 두 조건이 모두 충족될 경우에만 달성됩니다.

• $거의{\displaystyle {}_{}}$ ${\displaystyle x_{}}$ ~$$p ${\displaystyle g_{}}$ ${\displaystyle n_{}}$ { $displaystyle$x \ $sim$ p _ { $gen$} almost $for{\displaystyle {}_{}}$ ${\displaystyle d_{}}$ p ${\displaystyle {\mathrm{di}}_{}}$s ( ${\displaystyle y}$x )$$\ $displaystyle$ p$_$ { $dis$} ( $y$x )는 하나의$$ 라벨에 집중됩니다.$즉{\displaystyle {}_{}}$, ${\displaystyle H_{}}$ y${\displaystyle {}_{}}$[ ${\displaystyle p_{}}$ ${\displaystyle {\mathrm{di}}_{}}$s ( ${\displaystyle yx}$ )$=$ { $displaystyle H_{y}$ [$p_{dis}(y$ x)]=$0}$ 입니다$.$즉, $(\$})에서 샘플링된 모든 이미지는 식별자에 의해 정확하게 분류됩니다.
• 각 $라벨{\displaystyle }$y(\$displaystyle$ y$)$에 대해 y$(\displaystyle$ y$)$로 라벨이 지정된 생성 이미지의 비율은 $정확히{\displaystyle {\mathbb{}}_{}}$ E${\displaystyle {}_{}}$ ~ ${\displaystyle {p_{}}_{}}$ ${\displaystyle {g_{}}_{}}$ ${\displaystyle {e_{}}_{}}$n [ ${\displaystyle {}_{}}$ ${\displaystyle {\mathrm{di}}_{}}$s ( ${\displaystyle yx}$ )${\displaystyle }$]${\displaystyle =}$ ${\displaystyle \frac{1}{}}$N(\$displaystyle \mathbbb {E} _$ {gen} [ $p_{x\s][ p_{dis$}(y x)] =$frac {N$ }$$} } } } )입니다.즉, 생성된 이미지는 모든 라벨에 균등하게 분포됩니다.

레퍼런스