WHY?

기존의 VAE에서는 variational lower bound를 통하여 marginal log-likelihood 를 최대화 하고 Q(z)와 P(z|x)간의 KL Divergence를 최소화하도록 하는 regularization term을 통하여 encoder와 decoder를 학습시켰다.

WHAT?

Generator를 학습할 때 variational lower bound가 아닌 실제 분포와의 Wasserstein distance를 사용하여 학습하였다. Wasserstein distance란 다음과 같이 정의될 수 있다.
where is the marginal distribution of Z when and
여기에 Q(Z)에 대한 regularization term을 추가하여

라는 목적식이 만들어지게 된다. 여기에서 는 GAN base와 MMD base 두가지를 제시한다. 학습하는 알고리즘은 다음과 같다. img

So?

이를 통하여 종종 blurry한 결과를 가져오는 VAE보다 좋은 결과를 생성해 낼 수 있게 되었다.