• Variational Lossy Autoencoders

    WHY? 기존의 neural autoregressive model(RNN, MADE, PixelRNN/CNN)들은 VAE의 decoder로서 부적합하다고 여겨져왔다. 왜냐하면 이 모델들의 표현력이 너무 강력해서 종종 latent variable들을 무시하고 이미지를 생성했기 때문이다. WHAT? VAE의 목적식에서 KL divergence부분은 latent variable의 posterior를 특정분포에 근사시킨다. 하지만 원래 이는 절대 달성할 수는 없는데 decoder가 표현력이 강력하면 z를 아무 의미 없게 그 분포에...


  • Adversarial Autoencoders

    WHY? 기존의 VAE는 latent variable들의 aggregated posterior를 특정 분포를 따르게 하기 위하여 KL Divergence의 regularizer를 사용한다. WHAT? Adversarial Autoencoder는 latent variable들의 agrregated posterior를 특정 분포를 따르게 만들기 위하여 GAN에서 사용하는 Discriminator Loss를 사용한다. So? 이를 통하여 특정 분포의 식을모르더라도 sampling만 할 수 있다면 latent variable들이 그 분포를 따르도록 만들 수...


  • Parallel WaveNet: Fast High-Fidelity Speech Synthesis

    WHY? 기존의 WaveNet은 음성 데이터의 학습은 빠른 반면 Sampling(Generation)은 순차적으로 이루어져야 하기 때문에 매우 속도가 느렸다. Note Autogregressive Flow와 Inverse Autoregressive flow는 모두 Normalizing Flow를 통하여 Autoregressive구조의 liklihood를 예측한다는 점에서는 같지만 정반대의 특성을 가지고 있다. wavenet이 가진 구조인 AF는 데이터의 학습은 빠르게 이루어지는 반면 Sampling은 느리다. 반면 IAF는 데이터의 학습은...


  • The Shape of Water

    평점: 4 가장 약한 사람들을 특공대보다 용감하게 만들어주는 힘


  • Unpaired Image-to-image Translation using Cycle-Consistent Adversarial Network

    WHY? 이미지들 간의 style을 뽑아내기 위해서는 같은 모습에 대하여 다른 스타일이 적용되어 있는 이미지들이 pairing되어야 한다. WHAT? 이를 위하여 두 이미지의 스타일을 서로 줄 수 있는 CycleGAN을 제안한다. CycleGAN은 X->Y, Y->X로 변환하는 두가지 encoder겸 decoder로 이루어져 있다. CycleGAN의 Loss는 두 부분으로 이루어진다. 첫번째는 Adversarial Loss인데 y로 변한 x의 adversarial loss와...