• Deep Variational Information Bottleneck

    Note Information bottleneck이론이란 데이터 X로부터 관련 정보인 Y로 정보를 압축할 때 Y와의 관련성(accuracy)과 X의 압축성(compression)사이의 최고의 tradeoff를 정보량을 통하여 찾는 기법을 말한다. WHY? Deep learning model의 성능을 Information bottleneck을 통하여 최적화 하려는 시도는 있었지만 IB의 목적식을 variational inference를 통하여 추정하려는 시도는 이루어지지 않았다. WHAT? 위에서 주어진 IB의 목적식은 joint probability로...


  • [Pytorch] WGAN

    Wasserstein Generative Adversarial Network를 Pytorch로 구현 https://github.com/Lyusungwon/pytorch/tree/master/wgan Note weight clipping을 착각하여 많이 헤맸다. 만드려는 데이터의 복잡도와 모델의 크기(파라미터의 수) 그리고 C의 값이 적절해야 훈련이 잘 된다. GAN은 애증… Result Image Loss


  • Deep Convolutional Inverse Graphics Network

    WHY? Image의 representation을 interpretable하게 만든다면 원하는 이미지를 생성해낼 수 있을 것이다. WHAT? 이를 위하여 Variational Autoencoder모델에 encoder와 decoder를 각각 convolution과 transpose convolution으로 구성하여 학습한다. 학습 방법은 다음과 같다. 우리가 학습하려는 특성에 대응하는 을 고른다. 우리가 학습하려는 특성의 변화만 가지고 있는 데이터로부터 샘플링한다. 데이터를 인코더에 통과시켜 z를 구한다. 데이터들의 z의 평균을...


  • Semi-supervised Learning with Deep Generative Models

    WHY? Semi-supervised learning이란 적은 양의 labeled 데이터로 부터 정보를 효과적으로 generalize하여 많은 양의 unlabeled 데이터의 정보를 활용하고 이를 통하여 모델의 성능을 향상시키는 학습을 말한다. WHAT? 논문에서는 세가지 모델을 제안한다. M1은 latent feature discriminative model로 모든 데이터들에 대하여 VAE를 학습시킨 후 labeled data들의 latent variable로 discriminator를 학습하여 unlabeled data를 labeling하는 것이다....


  • Variational Inference of Disentangled Latent Concepts from Unlabeled Observations

    WHY? Disentanling과정은 기본적으로 x내에서 독립적인 요소를 찾아 각각 다른 z로 나누는 작업이다. 이를 위하여 z의 prior를 independent Gaussian(N(1,0))로 간주하여 근사하거나(Beta-VAE) Batch내의 z의 값을 permutation하여 adversarial training하는 방법으로 독립을 유도하였다(FVAE). 하지만 Beta-VAE는 모든 관측치의 분포를 N(1,0)으로 강제하여 관측치의 차이에 덜 민감하게 만들어 reconstruction의 성능이 떨어진다. WHAT? DIP-VAE(Disentangled Inferred Prior VAE)는 encoder의...