WHY?

MADE나 PixelCNN/RNN과 같은 autoregressive한 neural density estimator들은 좋은 성과를 보여왔다.
Normalizing Flow를 사용하면 Planar/radial flow나 inverse Autoregressive Flow와 같은 특정한 변환에 한해서는 빠르게 Density evaluation을 할 수 있어 variational inference에 유용하게 사용되었다. 하지만 새로운 데이터들에 대해서는 효율적으로 계산하기가 어렵기 때문에 density estimation에는 적합하지 않았다.

WHAT?

다음과 같은 Autoregressive한 모델을 가정하자. $p(x_i|x_{1:i-1)}) = N(x_i|\mu_i, (exp\alpha_i)^2\\ \mu_i = f_{\mu_i}(x_{1:i-1}), \alpha_i = f_{\alpha_i}(x_{1:i-1})$ 이는 다음과 같이 나타낼 수 있다. $x_i = u_i exp\alpha_i + \mu_i\\ u_i \sim N(0,1)\\ u_i = (x_i - \mu_i)exp(-\alpha_i)$ 이 식은 x가 u로 변화하는 식으로 본다면 normalizing flow를 사용할 수 있다. 이때 $ㅣdet (\frac{\partial f^{-1}}{\partial\mathbf{x}})| = exp(-\Sigma_i \alpha_i )$
이므로 determinant도 단순하게 나타나게 된다. 이를 통하면 새로운 데이터에 대해서도 density evaluation이 가능하게 된다. 이 autoregressive한 모델을 여러개 stacking하여 유연한 표현력을 가질 수 있게 된다. 이 논문에서는 MADE를 여러층 쌓아서 Masked Autoregressive Flow(MAF)를 제안하였다.

So?

이를 통하여 density estimation에 좋은 성과를 거두었다.

Papamakarios, George, Iain Murray, and Theo Pavlakou. “Masked autoregressive flow for density estimation.” Advances in Neural Information Processing Systems. 2017.