생성적 적대 네트워크

시리즈의 일부
기계 학습 및 데이터 마이닝
문제 분류 클러스터링 회귀 이상 검출 데이터 클리닝 자동 ML 어소시에이션 규칙 강화 학습 구조화된 예측 기능 엔지니어링 기능 학습 온라인 학습 준지도 학습 비지도 학습 순위 매기기 학습 문법 유도
지도 학습 (분류 • 회귀) 의사결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 네이비 베이즈 인공신경망 로지스틱 회귀 분석 퍼셉트론 관련 벡터 머신(RVM) 서포트 벡터 머신(SVM)
클러스터링 버치 치유하다 계층적 k자형 기대 최대화(EM) DBSCAN 광학 평균 이동
치수 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE
구조화된 예측 그래픽 모델 베이즈 네트 조건부 랜덤 필드 히든 마르코프
이상 검출 k-NN 국소 특이치 계수
인공신경망 자동 인코더 인지 컴퓨팅 딥 러닝 딥 드림 다층 퍼셉트론 RNN LSTM GRU ESN 저장고 계산 제한 볼츠만 기계 GAN somerset. 컨볼루션 뉴럴 네트워크 유넷 트랜스포머 비전. 스파이킹 뉴럴 네트워크 메모리 트랜지스터 전기화학 RAM(ECRAM)
강화 학습 Q-러닝 사사 시간차(TD) 멀티 에이전트 셀프 플레이
인간과의 학습 액티브 러닝 크라우드 소싱 휴먼 인 더 루프
모델 진단 학습 곡선
이론. 커널 머신 바이어스-분산 트레이드오프 컴퓨터 학습 이론 경험적 리스크 최소화 오컴 러닝 PAC 학습 통계학 학습 VC 이론
기계학습장 NeurolIPS ICML ML JMLR ArXiv:cs.LG
관련 기사 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 기계학습의 개요
v t

GAN(Generative Adversarial Network)은 Ian Goodfellow와 그의 동료들이 2014년 ^[1]6월에 설계한 기계 학습 프레임워크 클래스입니다.2개의 뉴럴 네트워크는 게임 내에서 서로 경쟁합니다(제로섬 게임 형식으로, 한 에이전트의 이득은 다른 에이전트의 손실입니다).

훈련 세트가 주어지면 이 기술은 훈련 세트와 동일한 통계 정보를 사용하여 새로운 데이터를 생성하는 방법을 학습합니다.예를 들어, 사진에 대해 훈련받은 GAN은 적어도 인간 관찰자들에게 표면적으로 진짜처럼 보이는 새로운 사진을 생성할 수 있으며, 많은 현실적인 특징을 가지고 있다.원래 비지도 학습을 위한 생성 모델의 형태로 제안되었지만, GANs는 반지도 학습,^[2] 완전 지도 학습 ^[3]및 강화 ^[4]학습에도 유용하다는 것이 입증되었다.

GAN의 핵심 아이디어는 입력이 얼마나 "현실적"으로 보이는지 알 수 있는 또 다른 신경 네트워크인 식별자를 통한 "간접" 훈련에 기초하고 있으며, 그 자체도 ^[5]동적으로 업데이트되고 있다.즉, 제너레이터는 특정 이미지까지의 거리를 최소화하도록 훈련되지 않고 식별자를 속이기 위해 훈련됩니다.이를 통해 모델은 감독 없이 학습할 수 있습니다.

GAN은 진화생물학에서의 모방과 유사하며, 두 네트워크 간의 진화적 군비경쟁이다.

정의.

수학

원래 GAN은 다음과 ^[1]같은 게임으로 정의됩니다.

각 확률 공간$({\displaystyle {}_{},}$ ${\displaystyle {\mu }_{}}$ ${\displaystyle r_{}}$ ${\displaystyle e_{}}$f$)\displaystyle(\Omega,\mu$ _${ref})$은 GAN 게임을 정의합니다.

발전기와 판별기의 두 가지 플레이어가 있습니다.

제너레이터의 전략 세트는 $P{\displaystyle \mathcal{}}$(${\displaystyle \mathrm{\omega }}$) \ $displaystyle$\ $mathcal${ $P}$ ( Omega$)$입니다.이것은, (${\displaystyle \mathrm{\omega }}$ )$$\ $display$ style$($ \ Omega$$$)$의 모든 확률 $측도{\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$G ( \ $display$ style \$mu$_ { $G}$의 세트입니다.

식별자의 전략 세트는 마르코프 $커널{\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$ D${\displaystyle {}_{}}$:$$ ${\displaystyle \to P\mathcal{}}$ [$0$ , $1 ]$ \$Omega$ \ $to$\$mathcal { P$} $\}$ [ 0 , $]$\ $display$ $style$ \ mathcal { $P$} [$$$0$${\displaystyle }$, $1$${\displaystyle }$]의 $확률$ 세트이다$.$

GAN 게임은 객관적인 기능을 가진 제로섬 게임입니다.

$$(\displaystyle L(\mu _{G},\mu _{D}):=\mathbb {E} _{x\sim \mu _{ref},y\sim \mu _{D}(x)}[\ln y]+\mathbb {E} _{x\sim \mu _{G},y\sim \mu _{D}(x)}[\ln(1-y)]$$

생성기는 목표를 최소화하는 것을 목표로 하고 식별기는 목표를 최대화하는 것을 목표로 한다.

직관적으로 말하면 제너레이터의 작업은 ${\displaystyle {\mu }_{}}$ G ${\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$ ${\displaystyle r_{}}$ f$$\ $displaystyle$\$mu$_ { $G$} \ approx \ $mu$_ { $ref$}에 $접근$하는 것이다. 즉, 자체 출력 분포를 기준 분포에 최대한 가깝게 일치시키는 것이다. 판별자의 작업은 입력이 기준 분포에서 나온 것으로 보일 때 1에 가까운 값을 출력하는 것이다.입력이 제너레이터 분포에서 나온 것처럼 보일 때 0에 가까운 값을 출력합니다.

말로만

생성 네트워크는 후보를 생성하고 식별 네트워크는 후보를 ^[1]평가합니다.이 콘테스트는 데이터 배포 측면에서 운영됩니다.전형적으로, 생성 네트워크는 잠재 공간에서 관심 있는 데이터 분포로의 매핑을 학습하는 반면, 식별 네트워크는 생성자에 의해 생성된 후보와 실제 데이터 분포를 구별한다.생성 네트워크의 훈련 목표는 차별 네트워크의 오류율을 증가시키는 것이다(즉, 식별자가 합성되지 않았다고 생각하는 (진정한 데이터 ^[1][6]분포의 일부) 새로운 후보를 생성하여 식별자 네트워크를 "속이는" 것).

알려진 데이터 세트는 식별자를 위한 초기 교육 데이터 역할을 합니다.트레이닝에는 트레이닝 데이터 세트의 샘플과 함께 트레이닝 데이터가 허용 가능한 정확도에 도달할 때까지 프레젠테이션하는 것이 포함됩니다.제너레이터는 식별자를 속이는 데 성공했는지 여부에 따라 훈련됩니다.일반적으로 발생기는 사전 정의된 잠재 공간(예: 다변량 정규 분포)에서 샘플링된 무작위 입력으로 시드됩니다.그 후, 발생기에 의해 합성된 후보를 판별기에 의해 평가한다.독립적 역전파 절차가 양쪽 네트워크에 적용되어 발전기가 더 나은 샘플을 생산하는 반면 판별기는 합성 ^[7]샘플 플래깅에 더 능숙해진다.이미지 생성에 사용될 때 제너레이터는 일반적으로 디콘볼루션 뉴럴 네트워크이며 식별기는 컨볼루션 뉴럴 네트워크입니다.

기타 통계 기계학습 방법과의 관계

GAN은 암묵적 생성 ^[8]모델이다. 즉, 흐름 기반 생성 모델과 같은 대안과는 달리, 우도 함수를 명시적으로 모델링하거나 주어진 표본에 해당하는 잠재 변수를 찾기 위한 수단을 제공하지 않는다.

WaveNet 및 PixelRNN과 같은 완전히 가시적인 믿음 네트워크 및 일반적으로 자기 회귀 모델과 비교하여, GAN은 네트워크를 통과하는 여러 개의 경로가 아닌 하나의 완전한 샘플을 하나의 경로로 생성할 수 있습니다.

Boltzmann 머신이나 비선형 ICA에 비해 네트워크에서 사용되는 기능의 종류에 제한이 없습니다.

신경망은 보편적 근사치이기 때문에, GAN은 점근적으로 일치한다.변형 자동 인코더는 범용 근사치일 수 있지만 2017년 현재 ^[9]입증되지 않았다.

수학적 특성

측정 이론상의 고려 사항

이 섹션에서는 이러한 방법의 배후에 있는 수학 이론의 일부를 제공합니다.

측정 이론에 기초한 현대 확률 이론에서 확률 공간에는 θ-대수가 있어야 합니다.그 결과, GAN 게임을 보다 엄격하게 정의하면 다음과 같은 변경이 이루어집니다.

각 확률 공간$({\displaystyle \mathrm{\delta },}$ ${\displaystyle {}_{},}$ ${\displaystyle {\mu }_{}}$ ${\displaystyle r_{}}$ e $)$ {$displaystyle(\Omega,$ {\$mathcal {B}},$ \$mu$ _${ref})$은 GAN 게임을 정의합니다.

제너레이터의 전략 세트는 $P{\displaystyle \mathcal{}}$( ${\displaystyle ,}$ ,${\displaystyle B\mathcal{}}$) { $displaystyle${$P }$ （ $Omega$ , { \$$$mathcal$ { $B$$}$ ） 。이는 측정 공간$ω$,$$)의$$ $모든$ 확률 $측도{\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$G ( \ $displaystyle$\ $mu$_ {$$$B } ）$

식별자의 전략 세트는 마르코프 $커널{\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$ D${\displaystyle {}_{}}$:${\displaystyle }$(${\displaystyle \mathrm{\delta },B\mathcal{}}$ ) ${\displaystyle \to P\mathcal{}}$( [${\displaystyle 0}$ , ${\displaystyle 1]}$ ,${\displaystyle B\mathcal{}}$( [${\displaystyle 0}$ , ${\displaystyle 1]}$ )$${ $display$style \$mu$_ {$D}$ : ( ($Omega$ , {\$mathcal {B}}$ ) \$to$ {$mathcal {P}$ ($0, 1$ }) {$mathcal }$ （ 0, 1 ） 。$(\displaystyle [0,1$

측정 가능성의 문제는 실제로 발생하지 않기 때문에 더 이상 걱정하지 않습니다.

전략 세트의 선택

위에서 설명한 GAN 게임 중 가장 일반적인 버전에서 식별자에 대한 전략 집합은 모든 마르코프 $커널{\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$D : ${\displaystyle \mathrm{\delta }}$ ${\displaystyle \to }$ ${\displaystyle P\mathcal{}}$ [${\displaystyle 0}$ , 1$]$ { $displaystyle \mu$ $_$$${ $D$: \$Omega$ \$$$to$ \$mathcal${$P$$}$ [$0$ , $1$ { \ displaystyle \ mu $},$ 생성자에 대한 전략 집합은 임의 확률$분포{\displaystyle {}_{}}$ $μDISP$를 포함한다$.$$ω$\ $displaystyle$ \$$Omega$$} $。$

단, 아래와 같이$$$G$에 대한 최적의 판별기$전략$은 결정론적이므로 판별기 전략을 $결정론적$인 함수${\displaystyle }$D : ${\displaystyle \mathrm{\delta }\to }$ [${\displaystyle 0}$, 1 $]$ {$displaystyle$D $:$$\Omega$ \$to [0,1$ 대부분의 애플리케이션에서 D$(\displaystyle$ D$)$는 심층 뉴럴 네트워크 기능입니다$.$

발생기는 이론적으로 ${\displaystyle {\mu }_{}}$ G$(\$ _${G})$는 어떤 계산 가능한 확률 분포가 될 수 있지만 $실제로$는 ${\displaystyle {\mu }_{}}$ G $=$ ${\displaystyle {}^{}}$ Z ${\displaystyle {}_{}{}^{}}$G - $(\$style \$mu$ _${G$}=\$mu$_{$Z}\circ$ G$^{-1$로 구현된다.즉, 랜덤 $변수{\displaystyle }$z ~${\displaystyle {\mu }_{}}$ Z$({$ z$\sim \mu$ _${Z$$\})$로 시작합니다. ${\displaystyle {여기}_{}}$서 μ Z$({displaystyle$ \$mu$ _${$Z$$})는 계산하기 쉬운 확률 분포(예: 균일한 분포 또는 가우스 분포)이며, 다음으로 $함수{\displaystyle }$G: ${\displaystyle {\delta }_{}}$ Z ${\displaystyle {}_{}}$({$displaystyle$ G$})$를 정의합니다$.$$n{\displaystyle {}_{}}$ $({$$\})$는 G$)$의 $분포$입니다.

따라서 제너레이터의 전략은 보통 G$(표시 스타일$ G$)$로 정의되며 z${\displaystyle }$~${\displaystyle {\mu }_{}}$ Z$($ z$\sim \mu$ _${Z})$는 암묵적으로 $남습니다{\displaystyle }$.이 형식주의에서 GAN 게임의 목표는

생성적 재자극

GAN 아키텍처에는 2개의 주요 컴포넌트가 있습니다.하나는 ${\displaystyle \underset{}{min}}$ ${\displaystyle \underset{}{G}}$ ${\displaystyle \underset{}{max}}$ D${\displaystyle \underset{}{}}$ ( ${\displaystyle G}$,${\displaystyle D}$) ( \$display$ \ $min _$ { G$$$\}$ \ $max$_${ D$ }$L$( G ,$$D )$$, ${\displaystyle （}$ $）$ ${\displaystyle \min }$ ${\displaystyle \underset{}{}}$ min min ${\displaystyle \underset{}{min}}$ min min min min min min min display ${\displaystyle \underset{}{display}}$ display $display$ （ \ $display$style \ $min$ _ { \ $ta }$ )의 최적화를 게임에 캐스팅하는 것입니다.다른 하나는 ${\displaystyle {\mu }_{}}$ G$(\$ _${G$$})$를${\displaystyle {}^{}{\mu }_{}}$ Z${\displaystyle {}_{}{}^{}}$ ${\displaystyle {\mathrm{G}}^{}}$- 1(\$displaystyle$ \$mu$ _${Z$}\$circ G^{-$1$\})$로 분해하는 것으로, 리파라메트리제이션 트릭으로 이해할 수 있다.

그 중요성을 확인하려면, GAN을 "최대우도 추정과 관련 전략에서 발생하는 다루기 어려운 확률론적 계산"^[1]으로 어려움을 겪었던 이전 학습 생성 모델 방법과 비교해야 한다.

동시에, Kingma와^[10] Welling and Rezende ^[11]등은 일반적인 확률적 역전파 방법으로 리파라메트리제이션의 동일한 아이디어를 개발했다.최초의 어플리케이션으로는 변이형 자동 인코더가 있습니다.

이동 순서 및 전략적 균형

대부분의 후속 논문과 마찬가지로 원본 논문에서는 일반적으로 발전기가 먼저 이동하고 판별기가 두 번째로 이동한다고 가정하여 다음과 같은 미니맥스 게임을 제공한다.

만약 발생기와 판별기의 전략 집합이 모두 한정된 수의 전략과 미니맥스 정리에 의해 확장된다면,

즉, 이동 순서는 중요하지 않습니다.

그러나 전략 집합이 둘 다 완전히 확장되지 않기 때문에 미니맥스 정리가 적용되지 않고 "균형"의 개념이 섬세해진다.참고로 평형에는 다음과 같은 다른 개념이 있습니다.

• 발전기가 먼저 이동하고 식별기가 두 번째로 이동하는 경우의 평형:
  $$\displaystyle \hat \mu _{G}\in \arg \min _{\mu _{D}L(\mu _{G},\mu _{D}),\quad \hat \max _{D}\in \arg \mu _{\mu _{D}})$$

  
• 판별기가 먼저 이동하고 발전기가 두 번째로 이동하는 경우의 평형:
  $$\arg \max _{\mu _{D}\in \arg _{\mu _{G}}L(\mu _{G}),\quad \hat {{mu }}_{G}\in \arg \min _{\mu _{G}})_{D}\in \mu}, \quad \hat \mu \mu _{{{D}_{D}_{D}\},$$

  
• 내쉬 평형${\displaystyle {\stackrel{}{}}_{}{\stackrel{}{}}_{}}$^ ${\displaystyle D_{}{\stackrel{}{}\mu }_{}}$ ^ G$)$ {$displaystyle({\hat {mu$}}$_{D}, {\hat$ {$mu$}}_{G$\}),$ 동시 이동 순서에서 안정적입니다.
  $$\displaystyle \max _{D}L({\hat {mu}}_{G}),\quad {hat {mu }}_{G}\in \arg \min _{\mu _{G}}L(\mu _{G}})$$

  

일반 게임의 경우, 이러한 균형은 일치하거나 존재할 필요가 없습니다.원래의 GAN 게임의 경우, 이러한 균형은 모두 존재하며 모두 동일합니다.그러나 보다 일반적인 GAN 게임에서는 이러한 게임들이 반드시 존재하거나 동의하는 ^[12]것은 아닙니다.

GAN 게임의 주요 정리

원래의 GAN 페이퍼에서는, 다음의 2개의 ^[1]이론이 실증되었습니다.

해석:임의의 고정 제너레이터 ${\displaystyle {전략\mu }_{}}$ G$(\$ _${G$에 대해 최적 판별기는 기준 분포와 제너레이터 분포 사이의 우도비를 추적합니다.

$여기$서 ${\$ { $displaystyle$ \ $displays }$는 로지스틱 함수입니다.특히 기준 분포에서 $이미지{\displaystyle }$x(\$displaystyle$ x$)$가 나올 확률이 1 $(\displaystyle {1}{2$인 $경우{\displaystyle }$ D$x)$는 기준$$ 분포에서 $가져온$ x(\$displaystyle x)$의 사후 확률일 $뿐$입니다.

GAN 훈련 및 평가

트레이닝

불안정한 컨버전스

GAN 게임은 생성자와 판별자 모두 전체 전략 세트에 액세스할 수 있는 고유한 전역 균형 지점을 가지고 있지만, 제한된 전략 ^[12]세트를 가지고 있을 때 균형은 더 이상 보장되지 않습니다.

실제로 제너레이터는 ${\displaystyle {\mu }_{}}$ Z${\displaystyle {}_{}{}_{}^{}}$ G${\displaystyle {}_{display}^{}}$ -$$ (\$displaystyle$$\mu$$_$ {$Z}\circ G_{\theta$}^{-$1$의 측정값에만 접근할 수 있습니다.$여기$서 G$$${\displaystyle {display}_{}}$ {\$displaystyle G_{\$$theta$$}$는 $파라미터가$있는 뉴럴 네트워크에 의해 계산된 $함수입니다.$균등분포나 정규분포와 같은 ED분포.Similarly, the discriminator has access only to functions of form ${\displaystyle D_{\zeta }}$, a function computed by a neural network with parameters ${\displaystyle \zeta }$. These restricted strategy sets take up a vanishingly small proportion of their entire strategy sets.^[13]

또한 평형이 아직 존재하더라도 가능한 모든 뉴럴 네트워크 함수의 고차원 공간을 탐색해야만 평형을 찾을 수 있다.「GAN」, 「GAN」, 「GAN」, 「GAN」이 있습니다.

collapse( 축소)

GAN은 모드붕괴로 인해 적절히 일반화하지 못하고 입력 데이터에서 모드 전체가 손실되는 경우가 많습니다.예를 들어, 각 자릿수의 많은 샘플을 포함하는 MNIST 데이터 세트에 대해 훈련받은 GAN은 숫자 0의 그림만 생성할 수 있습니다.이것은 첫 번째 논문에서 "헬베티카 시나리오"로 명명되었습니다.

이러한 현상이 발생할 수 있는 한 가지 방법은 발생기가 식별기에 비해 너무 빨리 학습하는 것입니다.만약 판별기 D{D\displaystyle}일정하다면, 그 최적의 발전기만 출력 아그 ⁡ 최대의 요소 xD는 몇 시대에MNIST의 데이터를 생산하는 GAN 훈련 동안은 판별기 어떻게든 약간 고르보다 더 많은 0숫자를 선호한다({\displaystyle \arg \max_{)}())}그래서 예를 들어, .[14].그녀.발생기가 숫자 0만 생성할 수 있는 기회를 포착한 다음 식별기가 개선된 후 로컬 최소값을 벗어날 수 없습니다.

일부 연구자들은 근본적인 문제를 누락 패턴을 알아차리지 못하는 약한 차별적 네트워크로 인식하는 반면, 다른 연구자들은 객관적 기능의 잘못된 선택에 책임을 부여한다.많은 해결책이 제안되었지만,^[15][16] 여전히 해결되지 않은 문제입니다.

최첨단 아키텍처인 BigGAN(2019)도 모드 붕괴를 피할 수 없었습니다.저자들은 "훈련의 후반 단계에서 붕괴가 일어나도록 허용하고, 이때까지 모델은 좋은 결과를 얻기 위해 충분히 훈련된다"^[17]고 주장했다.

두 개의 시간 척도 업데이트 규칙

2개의 시간 척도 업데이트 규칙(TTUR)은 발전기의 학습 속도를 판별기보다 낮게 하여 GAN 수렴을 보다 안정적으로 하기 위해 제안된다.저자들은 발전기가 "수집된 정보를 캡처하지 않고 새로운 영역으로 꾸준히 판별기를 구동하지 않도록" 판별기보다 느리게 이동해야 한다고 주장했다.

그들은 GAN 게임을 포함한 일반적인 게임 클래스가 TTUR에서 훈련되었을 때 "약간의 가정 하에서 정지된 국소 내쉬 평형으로 수렴"^[18]된다는 것을 증명했다.

그들은 또한 모드 붕괴를 피하기 위해 Adam 확률적^[19] 최적화를 사용할 것과 GAN 성과를 평가하기 위한 Fréchet 개시 거리를 사용할 것을 제안했다.

소실 경사

반대로 판별기가 제너레이터에 비해 너무 빨리 학습하는 경우 판별기는 ${\displaystyle {\mu {}_{}}_{}}$ G${\displaystyle {{}_{}}_{}{}_{}}$, $μ$ ${\displaystyle r_{}}$ $f${\$display$ \mu _{$G_{\theta }},$ \$mu$ _{ref$\}\}$를 거의 완벽하게 구별할 수 있습니다. 이 경우 G$$ {\$displaystyle G_{\theta}}}$는 직접적인 손실이 발생하지 않는 매우 높은 상태로 고착될 수 있습니다.$n{\displaystyle }$ $「\displaystyle \theta$ $」$가 바뀝니다.즉, 구배${\displaystyle {\mathrm{}}_{}}$∇${\displaystyle {}_{}}$ ( ${\displaystyle {}_{}}$ ${\displaystyle {}_{}}$ ${\displaystyle D_{}}$ ${\displaystyle {}_{}}$ )$${ $displaystyle \nabla$ _ { \$theta$} L ( G $_${ \$theta$} , D _ { \ $zeta$ }$$} } }는$$ 0에 가깝습니다.이 경우 발전기는 학습할 수 없으며, 소실 구배 ^[13]문제의 경우이다.

직관적으로 말하면, 식별기는 너무 우수하며, 발전기는 보상을 개선하기 위해 작은 단계(구배 강하 시 작은 단계만 고려됨)를 취할 수 없기 때문에 시도조차 하지 않는다.

이 문제를 해결하기 위한 중요한 방법 중 하나는 Wasserstein GAN입니다.

평가하기

GAN은 일반적으로 발생기의 출력이 얼마나 다양한지 측정하는 인셉션 점수(IS) 또는 발생기의 출력이 기준 세트와 얼마나 유사한지 측정하는 프레셰 인셉션 거리(FID)에 의해 평가된다(예: 인셉션 v3와 같은 학습된 이미지 특성화기에 의해 분류됨).마지막 레이어를 펼칩니다).이미지 생성을 위한 새로운 GAN 아키텍처를 제안하는 많은 논문들은 그들의 아키텍처가 FID 또는 IS의 최첨단 기술을 어떻게 무너뜨리는지를 보고한다.

또 다른 평가방법은 LPIPS(Learned Perceptual Image Patch Similarity)입니다.Learned Perceptual Image f$$ R n {\$displaystyle f_{\theta }:\text{$Image$}\$text${R$}\$textbbb$ {R$}\$n$\}$에서 $시작$하여 xdifferential${\displaystyle {}^{}}$에 대한${\displaystyle }$지도에 대한 학습으로 $피처링$합니다${\displaystyle {.}^{}}$$ystyle(x,x',$ {\$text{PerceptualDifference}(x,x$ 여기서$x{\displaystyle }$(\$displaystylex)$는 이미지, $(\$는 이미지, x(\${\displaystyle \text{displaystylex}\text{'})}$는 이미지$,$ perceptualDifference$x)$는 차이(\$text {PerceptionalDifferenceDifference}(x)$의 차이)입니다$$.${\displaystyle {}_{}}$은 f ${\displaystyle {}_{}}$ (${\displaystyle }$x${\displaystyle }$) - f ${\displaystyle {}_{}}$ ${\displaystyle {}^{}}$ ${\displaystyle ）{percept}_{}}$ ${\displaystyle \text{PerceptualDifference}}$ ${\displaystyle (x}$ , $){$ $displaystyle$\$f_{\theta$}($x$)-$f_{\theta$}($x')\apprough {text PerceptualDifference$}($x')$에 근접하도록 미세 조정됩니다$.$그런 다음 이 미세 조정 모델을 ${\displaystyle \text{사용}}$하여${\displaystyle }$LPIPS${\displaystyle (x}$ , ${\displaystyle {}^{}}$) ) : ${\displaystyle =}$" ${\displaystyle f_{}}$ "${\displaystyle {}_{}}$(${\displaystyle x}$) - ${\displaystyle f_{}}$" ( ${\displaystyle {}^{}}$) )$$"${\displaystyle }$\ $displaystyle$\$text {$$LPIPS}}(x,x'):$$=\ f_${\$theta }(x$)-$f_{\theta$}($x')\$^[20]}.

기타 평가 방법에 대해 검토합니다.^[21]

변종

GAN ^[22]변종들의 진짜 동물원이 있다.대표적인 예는 다음과 같습니다.

조건부 GAN

GAN 게임의 생성기는 확률 공간$\delta {\displaystyle \mathrm{}}$(\$displaystyle\Omega$에 확률 분포인 μ $(\$를 $생성$합니다.이것은 조건부 GAN의 개념으로 이어지며, $(\displaystyle\Omega$에서 하나의 확률 분포를 생성하지 않고 생성기가 다른 확률 분포를 생성합니다.lity $distribution{\displaystyle {}_{}}$$$${\displaystyle {\mu }_{}}$ G${\displaystyle {}_{}}$(${\displaystyle c}$) \ $displaystyle$ \ Omega $\}$$$$l$ 、 각 클래스 $라벨{\displaystyle }$ $c$$$\$$$displaystyle$$$\ $mu _$ { G （ c$$） 。

예를 들어 ImageNet과 유사한 이미지를 생성하는 경우 생성기는 클래스 라벨 "cat"이 지정되면 cat 이미지를 생성할 수 있어야 합니다.

원본 논문에서,^[1] 저자들은 GAN이 발생기와 식별자 모두에게 라벨을 제공함으로써 조건부 GAN으로 확장될 수 있다는 점에 주목했다.

구체적으로 조건부 GAN 게임은 클래스 라벨이 제공되는 GAN 게임일 뿐입니다.

$여기$서 ${\displaystyle {\mu }_{}}$ C$${ $displaystyle$\$mu$_ { $C$}$$、 ${\displaystyle {\mu }_{}}$ r ${\displaystyle e_{}{f}_{}}$ (${\displaystyle c}$) \ $displaystyle$$\$ $mu$$$_ { $ref$$$（ $c$$$$$$）$ 、 ${\displaystyle {\mu }_{}}$ ${\displaystyle G}$（ c$$） 、 $gener$ gener gener generated generated generated generated generated generated generated generated generated generated generated generated generated where $where$ generated where where where where where where where where where where where where where where where where where where where where where where where where where where$$where where where where of of of where where where where of of of of of where where of of of of where where {\ of of where where where where where where where of of {\ {\ {\r 클래스 $라벨{\displaystyle }$c(\$displaystyle$ c$)$를 지정했을 경우.

2017년에 조건부 GAN은 ImageNet의 ^[23]1000개의 이미지 클래스를 생성하는 방법을 배웠습니다.

대체 아키텍처를 사용하는 GAN

GAN게임은 일반적인 프레임워크로 $제너레이터$G와$$ $식별자$$D$의 합리적인 파라미터화로 실행할 수 있으며, 원작에서는 다층 퍼셉트론 네트워크와 컨볼루션 뉴럴 네트워크를 사용하여 시연하였다.많은 대체 아키텍처가 시도되었습니다.

Deep Convolution GAN(^[24]DCGAN): 제너레이터와 식별자 모두에 대해 완전히 Convolution-deconvolution 레이어로 구성된 딥 네트워크,^[25] 즉 완전한 Convolution 네트워크만 사용합니다.

Self-Attention GAN(SAGAN):^[26] DCGAN에서 시작하여 잔류 연결된 표준 Self-Attention 모듈을 제너레이터 및 식별기에 추가합니다.

트랜스포머 GAN(TransGAN):^[27] 발전기와 판별기 모두에 순수 트랜스포머 아키텍처를 사용합니다.컨볼루션-디콘볼루션 레이어가 전혀 없습니다.

Flow-GAN:^[28] 발생기에 흐름 기반 생성 모델을 사용하여 우도 함수를 효율적으로 계산할 수 있습니다.

대체 목표를 가진 GAN

많은 GAN 변종들은 단순히 발생기와 판별기에 대한 손실 함수를 변경함으로써 얻어진다.

오리지널 GAN:

비교를 위해 보다 편리한 형태로 원래의 GAN 목표를 다시 캐스트합니다.

원래 GAN, 비포화 손실:

발전기의 이 목표는 더 빠른 ^[1]수렴을 위해 원본 문서에서 권장되었습니다.

이 목적을 사용하는 효과는 ^[29]의 섹션 2.2.2에서 분석한다.

원래 GAN, 최대 가능성:

$여기$서 ${\$ { $displaystyle$ \ $displays }$는 로지스틱 함수입니다.판별기가 최적일 경우 GAN이 최대우도 추정 ^[30][31]자체를 수행할 수 없음에도 생성기 구배는 최대우도 추정과 동일합니다.

힌지 손실 ^[32]GAN:

최소 제곱 GAN:^[33]$여기$서 a${\displaystyle ,}$ ${\displaystyle b,}$(\$displaystyle a, b,$ c)는$$ 선택하는 파라미터입니다.저자들은 a ${\displaystyle =}$ -${\displaystyle 1}$, b ${\displaystyle =1}$, ${\displaystyle c}$ $=$ {$displaystyle$ a=-$1,b=1,c=0$을(를) $권장$했습니다.

Wasserstein GAN(WGAN)

Wasserstein GAN은 다음 두 가지 지점에서 GAN 게임을 수정합니다.

• 식별기의 전략 세트는 $유형{\displaystyle }$ D${\displaystyle :}$ ${\displaystyle \mathrm{\delta }}$ ${\displaystyle \to }$ \$displaystyle$ D$:$의 측정 가능한 함수 세트이다.\$Omega \to \mathbb {R}($유계 립시츠 노름) :${\displaystyle d}$ D${\displaystyle {}_l}$ L ${\displaystyle k}$ K$$ \ $displaystyle \ D$ \ $_${ $L$} \$leq$ K$$） $。$$여기$서 K$(\displaystyle$ K$)$는 고정 양의 상수입니다.
• 목적은
  $${\displaystyle L_{WGAN}(\mu _{G},D):=\mathbb {E}_{x\sim \mu _{G}}[D(x)]-\mathbb {E}_{x\sim \mu _{ref}}[D(x)]$$

  

그 목적 중 하나는 모드 축소 문제를 해결하는 것입니다(위 ^[13]참조).저자들은 "실험에서 WGAN 알고리즘에 대한 모드 붕괴의 증거를 본 적이 없다"고 주장한다.

2인 이상 GAN

정보 GAN

조건부 GAN에서는 제너레이터는 노이즈 $벡터{\displaystyle }$z(\$displaystyle$ z$)$와 $라벨{\displaystyle }$c(\$displaystyle$ c$)$를 모두 수신하여 $이미지{\displaystyle }$ G$(z,$를 생성합니다.식별자는 이미지 라벨 $쌍$을 수신하고 컴퓨터 $)$ $디스플레이$D(\$style dx$ $c)$를 수신합니다.

교육 데이터 세트가 레이블이 없는 경우 조건부 GAN은 직접 작동하지 않습니다.

InfoGAN의 개념은 잠재 공간의 모든 잠재 벡터를 (${\displaystyle z,}$ $)$ {$displaystyle$ ($z, c$ : 압축할 수 없는 $노이즈{\displaystyle }$부분 z {$displaystyle$z} 및 정보 $라벨{\displaystyle }$부분 c {$displaystyle$c$\}$로 분해할 수 있도록 명령하고${\displaystyle ,}$ 이를 $최대화함$으로써 발전기가 명령을 준수하도록 유도하는 것입니다.${\displaystyle c,}$ ${\displaystyle G(z,}$ ${\displaystyle c}$$)$$${$displaystyle$ I$(c,G(z,c$ c$(\displaystyle$ c$)$와 G${\displaystyle (z,c}$${\displaystyle )}$ 간의 $상호{\displaystyle }$ 정보$(\$$displaystyle$ G$(z,c$ G${\displaystyle (\backslash \mathrm{displaystyle}}$$$G$(z,c$ 간의 $상호$ $정보$에 대한 요구는 없습니다$$.

아쉽게도${\displaystyle I}$( c ,${\displaystyle G}$( z , $){$ $displaystyle$I ($c$ ,$G$ ($z$ , c$$) }}는 일반적으로 다루기 어렵습니다.InfoGAN의 주요 아이디어는 Variational Mutual Information Maximization ^[34]입니다.하한을 최대화하여 간접적으로 최대화합니다.

$여기$서$$Q {$displaystyle$ Q$}$의 범위는${\displaystyle }$Q ${\displaystyle {유형}_{}}$ : kernels Y ${\displaystyle {}_{}P\mathcal{}}$ ( ${\displaystyle {\omega }_{}}$C$$) {\$displaystyle$ Q$:$$\Omega$ _${Y}\ to$ {\$mathcal$ {P$}}(\Omega$ _${C$

InfoGAN 게임은 다음과 ^[35]같이 정의됩니다.

InfoGAN 게임을 정의하는 세 가지 확률 공간:

• ${\displaystyle (}$ ${\displaystyle {\delta }_{}{}_{}}$ , ${\displaystyle {\mu }_{}}$ ${\displaystyle r_{}}$ e${\displaystyle {}_{}{f}_{}}$) \ $displaystyle$( \ $Omega$_ { $X$, \ $mu$_ { $ref$} $),$ 참조 이미지의 공간.
• ${\displaystyle ({}_{}}$ ${\displaystyle Z_{}}$ ${\displaystyle {\mu }_{}}$Z $)(\displaystyle (\Omega$ _${Z$$mu$ _${Z}),$ 고정 랜덤 노이즈 발생기.
• ${\displaystyle ({}_{}}$ C${\displaystyle {}_{}}$ ${\displaystyle {\mu }_{}}$C $)(\displaystyle (\Omega$ _${C},\mu$ _${C$ 고정 랜덤 정보 생성기.

발전기, Q, 판별기 등 3개 팀으로 구성되어 있습니다.제너레이터와 Q는 한 팀에 있고 식별자는 다른 팀에 있습니다.

목적 함수는

$${\displaystyle L(G,Q,D)=L_{GAN}(G,D)-\lambda {I}(G,Q)}$$

${\displaystyle {여기}_{}}$서 L G ${\displaystyle A_{}}$N (${\displaystyle G}$ ,${\displaystyle }$D ) $=$ ${\displaystyle {}_{}}$x ~${\displaystyle {{\mu }_{}}_{}}$ r ${\displaystyle {e_{}{f}_{}}_{}}$, [ ${\displaystyle \mathrm{in}d}$D (${\displaystyle x}$) ${\displaystyle ]}$ + ${\displaystyle {}_{}}$z ~${\displaystyle {{\mu }_{}}_{}}$Z [ ${\displaystyle l}$ ${\displaystyle (}$ ( ${\displaystyle 1}$-${\displaystyle D}$ (${\displaystyle z}$ ,${\displaystyle c}$)$](\displaystyle L_{GAN}(G$, D)=\$mathbbe$ {$mu}$ _${x}_${ref}_{x}_{ref}$]{$

제너레이터-Q 팀은 목표를 최소화하는 것을 목표로 하고 식별자는 목표를 최대화하는 것을 목표로 합니다.

$${\displaystyle \min _{G,Q}\max _{D}L(G,Q,D)}$$

양방향 GAN(BiGAN)

표준 GAN 생성기는 $유형{\displaystyle }$G : ${\displaystyle {display}_{}}$ Z ${\displaystyle {}_{}}$ ${\displaystyle {display}_{}}$ X$$\ $display style$ G : \ $Omega$_ { $Z$} \ $to$\$Omega$_ { $X$}의 함수입니다.즉, 잠복 공간 ${\displaystyle {display}_{}}$Z \ $display$style \ $Omega$ _ { $Z$}에서$$ 이미지 ${\displaystyle {공간}_{}}$ $display$ X$display$ style \ Omega _ { }로의 매핑입니다.tor ${\displaystyle z\in \Omega _{Z}}$ is a code for an image ${\displaystyle x\in \Omega _{X}}$, and the generator performs the decoding.이것에 의해, 「인코딩」을 실행하는 다른 네트워크를 트레이닝 해, 인코더와 제너레이터의 쌍으로부터 자동 인코더를 작성하는 것이 자연스럽게 됩니다.

저자들은 이미 원본 ^[1]논문에서 "$x{\displaystyle }$\displaystyle$x\displaystyle$ x\"$$가 주어진 z$\displaystyle$ z를$$ $예측$하도록 보조 네트워크를 훈련함으로써 대략적인 추론을 수행할 수 있다"고 언급했다.쌍방향 GAN 아키텍처는 정확히 ^[36]이 작업을 수행합니다.

BiGAN은 다음과 같이 정의됩니다.

BiGAN 게임을 정의하는 두 가지 확률 공간:

• ${\displaystyle (}$ ${\displaystyle {\delta }_{}{}_{}}$, ${\displaystyle {\mu }_{}}$X $)(\displaystyle$(\$Omega _{X$},\$mu _${X$\}),$ 참조 이미지의 공간.
• ${\displaystyle ({\delta }_{}}$ ${\displaystyle {}_{}{}_{}}$ ${\displaystyle {\mu }_{}}$Z $)(\displaystyle (\Omega$_{$Z$$mu$_{$Z}),$ 잠복 공간.

There are 3 players in 2 teams: generator, encoder, and discriminator. The generator and encoder are on one team, and the discriminator on the other team.

The generator's strategies are functions ${\displaystyle G:\Omega _{Z}\to \Omega _{X}}$, and the encoder's strategies are functions ${\displaystyle E:\Omega _{X}\to \Omega _{Z}}$. The discriminator's strategies are functions ${\displaystyle D:\Omega _{X}\to [0,1]}$.

The objective function is

$${\displaystyle L(G,E,D)=\mathbb {E} _{x\sim \mu _{X}}[\ln D(x,E(x))]+\mathbb {E} _{z\sim \mu _{Z}}[\ln(1-D(G(z),z))]}$$

Generator-encoder team aims to minimize the objective, and discriminator aims to maximize it:

$${\displaystyle \min _{G,E}\max _{D}L(G,E,D)}$$

In the paper, they gave a more abstract definition of the objective as:

where ${\displaystyle \mu _{E,X}(dx,dz)=\mu _{X}(dx)\cdot \delta _{E(x)}(dz)}$ is the probability distribution on ${\displaystyle \Omega _{X}\times \Omega _{Z}}$ obtained by pushing ${\displaystyle \mu _{X}}$ forward via ${\displaystyle x\mapsto (x,E(x))}$, and ${\displaystyle \mu _{G,Z}(dx,dz)=\delta _{G(z)}(dx)\cdot \mu _{Z}(dz)}$ is the probability distribution on ${\displaystyle \Omega _{X}\times \Omega _{Z}}$ obtained by pushing ${\displaystyle \mu _{Z}}$ forward via ${\displaystyle z\mapsto (G(x),z)}$.

Applications of bidirectional models include semi-supervised learning,^[37] interpretable machine learning,^[38] and neural machine translation.^[39]

Variational autoencoder GAN (VAEGAN)

^[40]

Adversarial autoencoder

^[41]

CycleGAN

CycleGAN is an architecture for performing paired translations between two domains, such as between photos of horses and photos of zebras, or photos of night cities and photos of day cities.

The CycleGAN game is defined as follows:^[42]

There are two probability spaces ${\displaystyle (\Omega _{X},\mu _{X}),(\Omega _{Y},\mu _{Y})}$, corresponding to the two domains needed for translations fore-and-back.

There are 4 players in 2 teams: generators ${\displaystyle G_{X}:\Omega _{X}\to \Omega _{Y},G_{Y}:\Omega _{Y}\to \Omega _{X}}$, and discriminators ${\displaystyle D_{X}:\Omega _{X}\to [0,1],D_{Y}:\Omega _{Y}\to [0,1]}$.

The objective function is

$${\displaystyle L(G_{X},G_{Y},D_{X},D_{Y})=L_{GAN}(G_{X},D_{X})+L_{GAN}(G_{Y},D_{Y})+\lambda L_{cycle}(G_{X},G_{Y})}$$

where ${\displaystyle \lambda }$ is a positive adjustable parameter, ${\displaystyle L_{GAN}}$ is the GAN game objective, and ${\displaystyle L_{cycle}}$ is the cycle consistency loss:

$${\displaystyle L_{cycle}(G_{X},G_{Y})=E_{x\sim \mu _{X}}\ G_{X}(G_{Y}(x))-x\ +E_{y\sim \mu _{Y}}\ G_{Y}(G_{X}(y))-y\ }$$

The generators aim to minimize the objective, and the discriminators aim to maximize it:

$${\displaystyle \min _{G_{X},G_{Y}}\max _{D_{X},D_{Y}}L(G_{X},G_{Y},D_{X},D_{Y})}$$

Unlike previous work like pix2pix,^[43] which requires paired training data, cycleGAN requires no paired data. For example, to train a pix2pix model to turn a summer scenery photo to winter scenery photo and back, the dataset must contain pairs of the same place in summer and winter, shot at the same angle; cycleGAN would only need a set of summer scenery photos, and an unrelated set of winter scenery photos.

GANs with particularly large or small scales

BigGAN

The BigGAN is essentially a self-attention GAN trained on a large scale (up to 80 million parameters) to generate large images of ImageNet (up to 512 x 512 resolution), with numerous engineering tricks to make it converge.^[17][44]

Invertible data augmentation

When there is insufficient training data, the reference distribution ${\displaystyle \mu _{ref}}$ cannot be well-approximated by the empirical distribution given by the training dataset. In such cases, data augmentation can be applied, to allow training GAN on smaller datasets. Naïve data augmentation, however, brings its problems.

Consider the original GAN game, slightly reformulated as follows:

Now we use data augmentation by randomly sampling semantic-preserving transforms ${\displaystyle T:\Omega \to \Omega }$ and applying them to the dataset, to obtain the reformulated GAN game:This is equivalent to a GAN game with a different distribution ${\displaystyle \mu _{ref}'}$, sampled by ${\displaystyle T(x)}$, with ${\displaystyle x\sim \mu _{ref},T\sim \mu _{trans}}$. For example, if ${\displaystyle \mu _{ref}}$ is the distribution of images in ImageNet, and ${\displaystyle \mu _{trans}}$ samples identity-transform with probability 0.5, and horizontal-reflection with probability 0.5, then ${\displaystyle \mu _{ref}'}$ is the distribution of images in ImageNet and horizontally-reflected ImageNet, combined.

The result of such training would be a generator that mimics ${\displaystyle \mu _{ref}'}$. For example, it would generate images that look like they are randomly cropped, if the data augmentation uses random cropping.

The solution is to apply data augmentation to both generated and real images:

The authors demonstrated high-quality generation using just 100-picture-large datasets.^[45]

The StyleGAN-2-ADA paper points out a further point on data augmentation: it must be invertible.^[46] Continue with the example of generating ImageNet pictures. If the data augmentation is "randomly rotate the picture by 0, 90, 180, 270 degrees with equal probability", then there is no way for the generator to know which is the true orientation: Consider two generators ${\displaystyle G,G'}$, such that for any latent ${\displaystyle z}$, the generated image ${\displaystyle G(z)}$ is a 90-degree rotation of ${\displaystyle G'(z)}$. They would have exactly the same expected loss, and so neither is preferred over the other.

The solution is to only use invertible data augmentation: instead of "randomly rotate the picture by 0, 90, 180, 270 degrees with equal probability", use "randomly rotate the picture by 90, 180, 270 degrees with 0.1 probability, and keep the picture as it is with 0.7 probability". This way, the generator is still rewarded to keep images oriented the same way as un-augmented ImageNet pictures.

Abstractly, the effect of randomly sampling transformations ${\displaystyle T:\Omega \to \Omega }$ from the distribution ${\displaystyle \mu _{trans}}$ is to define a Markov kernel ${\displaystyle K_{trans}:\Omega \to {\mathcal {P}}(\Omega )}$. Then, the data-augmented GAN game pushes the generator to find some ${\displaystyle {\hat {\mu }}_{G}\in {\mathcal {P}}(\Omega )}$, such that

where ${\displaystyle *}$ is the Markov kernel convolution. A data-augmentation method is defined to be invertible if its Markov kernel ${\displaystyle K_{trans}}$ satisfiesImmediately by definition, we see that composing multiple invertible data-augmentation methods results in yet another invertible method. Also by definition, if the data-augmentation method is invertible, then using it in a GAN game does not change the optimal strategy ${\displaystyle {\hat {\mu }}_{G}}$ for the generator, which is still ${\displaystyle \mu _{ref}}$.

There are two prototypical examples of invertible Markov kernels:

Discrete case: Invertible stochastic matrices, when ${\displaystyle \Omega }$ is finite.

For example, if ${\displaystyle \Omega =\{\uparrow ,\downarrow ,\leftarrow ,\rightarrow \}}$ is the set of four images of an arrow, pointing in 4 directions, and the data augmentation is "randomly rotate the picture by 90, 180, 270 degrees with probability ${\displaystyle p}$, and keep the picture as it is with probability ${\displaystyle (1-3p)}$", then the Markov kernel ${\displaystyle K_{trans}}$ can be represented as a stochastic matrix:

and ${\displaystyle K_{trans}}$ is an invertible kernel iff ${\displaystyle [K_{trans}]}$ is an invertible matrix, that is, ${\displaystyle p\neq 1/4}$.

Continuous case: The gaussian kernel, when ${\displaystyle \Omega =\mathbb {R} ^{n}}$ for some ${\displaystyle n\geq 1}$.

For example, if ${\displaystyle \Omega =\mathbb {R} ^{256^{2}}}$ is the space of 256x256 images, and the data-augmentation method is "generate a gaussian noise ${\displaystyle z\sim {\mathcal {N}}(0,I_{256^{2}})}$, then add ${\displaystyle \epsilon z}$ to the image", then ${\displaystyle K_{trans}}$ is just convolution by the density function of ${\displaystyle {\mathcal {N}}(0,\epsilon ^{2}I_{256^{2}})}$. This is invertible, because convolution by a gaussian is just convolution by the heat kernel, so given any ${\displaystyle \mu \in {\mathcal {P}}(\mathbb {R} ^{n})}$, the convolved distribution ${\displaystyle K_{trans}*\mu }$ can be obtained by heating up ${\displaystyle \mathbb {R} ^{n}}$ precisely according to ${\displaystyle \mu }$, then wait for time ${\displaystyle \epsilon ^{2}/4}$. With that, we can recover ${\displaystyle \mu }$ by running the heat equation backwards in time for ${\displaystyle \epsilon ^{2}/4}$.

More examples of invertible data augmentations are found in the paper.^[46]

SinGAN

SinGAN pushes data augmentation to the limit, by using only a single image as training data and performing data augmentation on it. The GAN architecture is adapted to this training method by using a multi-scale pipeline.

The generator ${\displaystyle G}$ is decomposed into a pyramid of generators ${\displaystyle G=G_{1}\circ G_{2}\circ \cdots \circ G_{N}}$, with the lowest one generating the image ${\displaystyle G_{N}(z_{N})}$ at the lowest resolution, then the generated image is scaled up to ${\displaystyle r(G_{N}(z_{N}))}$, and fed to the next level to generate an image ${\displaystyle G_{N-1}(z_{N-1}+r(G_{N}(z_{N})))}$ at a higher resolution, and so on. The discriminator is decomposed into a pyramid as well.^[47]

StyleGAN series

The StyleGAN family is a series of architectures pubilshed by Nvidia's research division.

Progressive GAN

Progressive GAN^[48] is a method for training GAN for large-scale image generation stably, by growing a GAN generator from small to large scale in a pyramidal fashion. Like SinGAN, it decomposes the generator as${\displaystyle G=G_{1}\circ G_{2}\circ \cdots \circ G_{N}}$, and the discriminator as ${\displaystyle D=D_{1}\circ D_{2}\circ \cdots \circ D_{N}}$.

During training, at first only ${\displaystyle G_{N},D_{N}}$ are used in a GAN game to generate 4x4 images. Then ${\displaystyle G_{N-1},D_{N-1}}$ are added to reach the second stage of GAN game, to generate 8x8 images, and so on, until we reach a GAN game to generate 1024x1024 images.

To avoid shock between stages of the GAN game, each new layer is "blended in" (Figure 2 of the paper^[48]). For example, this is how the second stage GAN game starts:

• Just before, the GAN game consists of the pair ${\displaystyle G_{N},D_{N}}$ generating and discriminating 4x4 images.
• Just after, the GAN game consists of the pair ${\displaystyle ((1-\alpha )+\alpha \cdot G_{N-1})\circ u\circ G_{N},D_{N}\circ d\circ ((1-\alpha )+\alpha \cdot D_{N-1})}$ generating and discriminating 8x8 images. Here, the functions ${\displaystyle u,d}$ are image up- and down-sampling functions, and ${\displaystyle \alpha }$ is a blend-in factor (much like an alpha in image composing) that smoothly glides from 0 to 1.

StyleGAN-1

StyleGAN-1 is designed as a combination of Progressive GAN with neural style transfer.^[49]

The key architectural choice of StyleGAN-1 is a progressive growth mechanism, similar to Progressive GAN. Each generated image starts as a constant ${\displaystyle 4\times 4\times 512}$ array, and repeatedly passed through style blocks. Each style block applies a "style latent vector" via affine transform ("adaptive instance normalization"), similar to how neural style transfer uses Gramian matrix. It then adds noise, and normalize (subtract the mean, then divide by the variance).

At training time, usually only one style latent vector is used per image generated, but sometimes two ("mixing regularization") in order to encourage each style block to independently perform its stylization without expecting help from other style blocks (since they might receive an entirely different style latent vector).

After training, multiple style latent vectors can be fed into each style block. Those fed to the lower layers control the large-scale styles, and those fed to the higher layers control the fine-detail styles.

Style-mixing between two images ${\displaystyle x,x'}$ can be performed as well. First, run a gradient descent to find ${\displaystyle z,z'}$ such that ${\displaystyle G(z)\approx x,G(z')\approx x'}$. This is called "projecting an image back to style latent space". Then, ${\displaystyle z}$ can be fed to the lower style blocks, and ${\displaystyle z'}$ to the higher style blocks, to generate a composite image that has the large-scale style of ${\displaystyle x}$, and the fine-detail style of ${\displaystyle x'}$. Multiple images can also be composed this way.

StyleGAN-2

StyleGAN-2 improves upon StyleGAN-1, by using the style latent vector to transform the convolution layer's weights instead, thus solving the "blob" problem.^[50]

This was updated by the StyleGAN-2-ADA ("ADA" stands for "adaptive"),^[46] which uses invertible data augmentation as described above. It also tunes the amount of data augmentation applied by starting at zero, and gradually increasing it until an "overfitting heuristic" reaches a target level, thus the name "adaptive".

StyleGAN-3

StyleGAN-3^[51] improves upon StyleGAN-2 by solving the "texture sticking" problem, which can be seen in the official videos.^[52] They analyzed the problem by the Nyquist–Shannon sampling theorem, and argued that the layers in the generator learned to exploit the high-frequency signal in the pixels they operate upon.

To solve this, they proposed imposing strict lowpass filters between each generator's layers, so that the generator is forced to operate on the pixels in a way faithful to the continuous signals they represent, rather than operate on them as merely discrete signals. They further imposed rotational and translational invariance by using more signal filters. The resulting StyleGAN-3 is able to sole the texture sticking problem, as well as generating images that rotate and translate smoothly.

Applications

GAN applications have increased rapidly.^[53]

Fashion, art and advertising

GANs can be used to generate art; The Verge wrote in March 2019 that "The images created by GANs have become the defining look of contemporary AI art."^[55] GANs can also be used to inpaint photographs^[56] or create photos of imaginary fashion models, with no need to hire a model, photographer or makeup artist, or pay for a studio and transportation.^[57] GANs have also been used for virtual shadow generation.^[58]

Science

GANs can improve astronomical images^[59] and simulate gravitational lensing for dark matter research.^[60][61][62] They were used in 2019 to successfully model the distribution of dark matter in a particular direction in space and to predict the gravitational lensing that will occur.^[63][64]

GANs have been proposed as a fast and accurate way of modeling high energy jet formation^[65] and modeling showers through calorimeters of high-energy physics experiments.^{[66][67][68][69]} GANs have also been trained to accurately approximate bottlenecks in computationally expensive simulations of particle physics experiments. Applications in the context of present and proposed CERN experiments have demonstrated the potential of these methods for accelerating simulation and/or improving simulation fidelity.^[70][71]

Video games

In 2018, GANs reached the video game modding community, as a method of up-scaling low-resolution 2D textures in old video games by recreating them in 4k or higher resolutions via image training, and then down-sampling them to fit the game's native resolution (with results resembling the supersampling method of anti-aliasing).^[72] With proper training, GANs provide a clearer and sharper 2D texture image magnitudes higher in quality than the original, while fully retaining the original's level of details, colors, etc. Known examples of extensive GAN usage include Final Fantasy VIII, Final Fantasy IX, Resident Evil REmake HD Remaster, and Max Payne.^{[citation needed]}

Audio synthesis

Concerns about malicious applications

Concerns have been raised about the potential use of GAN-based human image synthesis for sinister purposes, e.g., to produce fake, possibly incriminating, photographs and videos.^[74] GANs can be used to generate unique, realistic profile photos of people who do not exist, in order to automate creation of fake social media profiles.^[75]

In 2019 the state of California considered^[76] and passed on October 3, 2019, the bill AB-602, which bans the use of human image synthesis technologies to make fake pornography without the consent of the people depicted, and bill AB-730, which prohibits distribution of manipulated videos of a political candidate within 60 days of an election. Both bills were authored by Assembly member Marc Berman and signed by Governor Gavin Newsom. The laws went into effect in 2020.^[77]

DARPA's Media Forensics program studies ways to counteract fake media, including fake media produced using GANs.^[78]

Transfer learning

State-of-art transfer learning research use GANs to enforce the alignment of the latent feature space, such as in deep reinforcement learning.^[79] This works by feeding the embeddings of the source and target task to the discriminator which tries to guess the context. The resulting loss is then (inversely) backpropagated through the encoder.

Miscellaneous applications

GAN can be used to detect glaucomatous images helping the early diagnosis which is essential to avoid partial or total loss of vision.^[80]

GANs that produce photorealistic images can be used to visualize interior design, industrial design, shoes,^[81] bags, and clothing items or items for computer games' scenes.^{[citation needed]} Such networks were reported to be used by Facebook.^[82]

GAN's have been used to create forensic facial reconstructions of deceased historical figures.^[83]

GANs can reconstruct 3D models of objects from images,^[84] generate novel objects as 3D point clouds,^[85] and model patterns of motion in video.^[86]

GANs can be used to age face photographs to show how an individual's appearance might change with age.^[87]

GANs can be used for data augmentation, eg. to improve DNN classifier ^[88]

GANs can also be used to inpaint missing features in maps,^[89] transfer map styles in cartography^[90] or augment street view imagery.^[91]

Relevance feedback on GANs can be used to generate images and replace image search systems.^[92]

A variation of the GANs is used in training a network to generate optimal control inputs to nonlinear dynamical systems. Where the discriminatory network is known as a critic that checks the optimality of the solution and the generative network is known as an Adaptive network that generates the optimal control. The critic and adaptive network train each other to approximate a nonlinear optimal control.^[93]

GANs have been used to visualize the effect that climate change will have on specific houses.^[94]

A GAN model called Speech2Face can reconstruct an image of a person's face after listening to their voice.^[95]

In 2016 GANs were used to generate new molecules for a variety of protein targets implicated in cancer, inflammation, and fibrosis. In 2019 GAN-generated molecules were validated experimentally all the way into mice.^[96][97]

Whereas the majority of GAN applications are in image processing, the work has also been done with time-series data. For example, recurrent GANs (R-GANs) have been used to generate energy data for machine learning.^[98]

History

The most direct inspiration for GANs was noise-contrastive estimation,^[99] which uses the same loss function as GANs and which Goodfellow studied during his PhD in 2010–2014.

Other people had similar ideas but did not develop them similarly. An idea involving adversarial networks was published in a 2010 blog post by Olli Niemitalo.^[100] This idea was never implemented and did not involve stochasticity in the generator and thus was not a generative model. It is now known as a conditional GAN or cGAN.^[101] An idea similar to GANs was used to model animal behavior by Li, Gauci and Gross in 2013.^[102]

Adversarial machine learning has other uses besides generative modeling and can be applied to models other than neural networks. In control theory, adversarial learning based on neural networks was used in 2006 to train robust controllers in a game theoretic sense, by alternating the iterations between a minimizer policy, the controller, and a maximizer policy, the disturbance.^[103][104]

In 2017, a GAN was used for image enhancement focusing on realistic textures rather than pixel-accuracy, producing a higher image quality at high magnification.^[105] In 2017, the first faces were generated.^[106] These were exhibited in February 2018 at the Grand Palais.^[107][108] Faces generated by StyleGAN^[109] in 2019 drew comparisons with deepfakes.^{[110][111][112]}

Beginning in 2017, GAN technology began to make its presence felt in the fine arts arena with the appearance of a newly developed implementation which was said to have crossed the threshold of being able to generate unique and appealing abstract paintings, and thus dubbed a "CAN", for "creative adversarial network".^[113] A GAN system was used to create the 2018 painting Edmond de Belamy, which sold for US$432,500.^[114] An early 2019 article by members of the original CAN team discussed further progress with that system, and gave consideration as well to the overall prospects for an AI-enabled art.^[115]

In May 2019, researchers at Samsung demonstrated a GAN-based system that produces videos of a person speaking, given only a single photo of that person.^[116]

In August 2019, a large dataset consisting of 12,197 MIDI songs each with paired lyrics and melody alignment was created for neural melody generation from lyrics using conditional GAN-LSTM (refer to sources at GitHub AI Melody Generation from Lyrics).^[117]

In May 2020, Nvidia researchers taught an AI system (termed "GameGAN") to recreate the game of Pac-Man simply by watching it being played.^[118][119]

References

External links

• Knight, Will. "5 Big Predictions for Artificial Intelligence in 2017". MIT Technology Review. Retrieved January 5, 2017.
• Karras, Tero; Laine, Samuli; Aila, Timo (2018). "A Style-Based Generator Architecture for Generative Adversarial Networks". arXiv:1812.04948 [cs.NE].
• This Person Does Not Exist – photorealistic images of people who do not exist, generated by StyleGAN
• This Cat Does Not Exist – photorealistic images of cats who do not exist, generated by StyleGAN
• Wang, Zhengwei; She, Qi; Ward, Tomas E. (2019). "Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy". arXiv:1906.01529 [cs.LG].