• Conditional Image Synthesis with Auxiliary Classifier GANs

    WHY? 기존의 conditional gan에서는 hidden representation에 class의 정보를 concate하고 그에 맞는 이미지가 형성되길 바라는 방법 밖에 없었다. 이 방법은 단순한 이미지를 형성할 때는 괜찮지만 복잡한 이미지를 만들기는 힘들었다. WHAT? AC-GAN(auxiliary classifier GAN)은 generator에 노이즈와 label의 정보를 넣되 기존의 discriminator이외에 추가적인(auxiliary) classifier를 추가한다. 그리하여 Discriminator는 LS + LC를 최대화하려 하고 G는...


  • Disentangling Factors of Variation in Deep Representations Using Adversarial Training

    WHY? 한 이미지가 가진 정보에서 label이 가지는 정보와 그 외의 정보로 나뉠 수 있다. 이 두 정보를 분리하여 추출할 때 이에 대한 supervision이 있다면 추출하기가 쉽겠지만 현실 데이터에서는 한계가 있다. WHAT? VAE를 사용하여 latent variable을 추출할 때 label의 정보는 spcified component s에 포함되게 하고 그 외의 정보는 unspecified component z에...


  • Variational Lossy Autoencoders

    WHY? 기존의 neural autoregressive model(RNN, MADE, PixelRNN/CNN)들은 VAE의 decoder로서 부적합하다고 여겨져왔다. 왜냐하면 이 모델들의 표현력이 너무 강력해서 종종 latent variable들을 무시하고 이미지를 생성했기 때문이다. WHAT? VAE의 목적식에서 KL divergence부분은 latent variable의 posterior를 특정분포에 근사시킨다. 하지만 원래 이는 절대 달성할 수는 없는데 decoder가 표현력이 강력하면 z를 아무 의미 없게 그 분포에...


  • Adversarial Autoencoders

    WHY? 기존의 VAE는 latent variable들의 aggregated posterior를 특정 분포를 따르게 하기 위하여 KL Divergence의 regularizer를 사용한다. WHAT? Adversarial Autoencoder는 latent variable들의 agrregated posterior를 특정 분포를 따르게 만들기 위하여 GAN에서 사용하는 Discriminator Loss를 사용한다. So? 이를 통하여 특정 분포의 식을모르더라도 sampling만 할 수 있다면 latent variable들이 그 분포를 따르도록 만들 수...


  • Parallel WaveNet: Fast High-Fidelity Speech Synthesis

    WHY? 기존의 WaveNet은 음성 데이터의 학습은 빠른 반면 Sampling(Generation)은 순차적으로 이루어져야 하기 때문에 매우 속도가 느렸다. Note Autogregressive Flow와 Inverse Autoregressive flow는 모두 Normalizing Flow를 통하여 Autoregressive구조의 liklihood를 예측한다는 점에서는 같지만 정반대의 특성을 가지고 있다. wavenet이 가진 구조인 AF는 데이터의 학습은 빠르게 이루어지는 반면 Sampling은 느리다. 반면 IAF는 데이터의 학습은...