• Improved Variational Inference with Inverse Autoregressive Flow

    WHY? Normializing flow는 posterior를 유연하게 가정하기 위하여 x를 변환시킨다. 이때 변환은 가역적이어야 하고 determinant를 구하기 쉬워야 한다. WHAT? MAF에서 본 것과 같이 Autoregressive 구조는 유용한 성질을 가지고 있다. 하지만 Autoregressive transformation은 density evaluation에 사용되지만 variational inference는 posterior의 sampling을 요하기 때문에 사용되기 힘들다. 하지만 이의 sampling을 reparameterization trick을 사용한 변환으로 가정할...


  • Masked Autoregressive Flow for Density Estimation

    WHY? MADE나 PixelCNN/RNN과 같은 autoregressive한 neural density estimator들은 좋은 성과를 보여왔다. Normalizing Flow를 사용하면 Planar/radial flow나 inverse Autoregressive Flow와 같은 특정한 변환에 한해서는 빠르게 Density evaluation을 할 수 있어 variational inference에 유용하게 사용되었다. 하지만 새로운 데이터들에 대해서는 효율적으로 계산하기가 어렵기 때문에 density estimation에는 적합하지 않았다. WHAT? 다음과 같은 Autoregressive한 모델을...


  • MADE: Masked Autoencoder for Distribution Estimation

    WHY? 단순 Autoencoder에서는 x내에 특정 구조를 가정하지 않는다. WHAT? MADE에서는 autoencoder에 autoregressive한 구조를 반영하여 generation model을 만들었다. Autoregressive한 구조는 데이터에 특정 순서가 있으며 특정 데이터는 그 이전 데이터로부터만 영향을 받는다고 가정한다. 그러기 위하여 autoencoder의 encoder와 decoder의 weights에 특정 형태의 mask를 씌워 weight의 흐름을 조정한다. 이때 마스크는 다음과 같은 규칙으로 생성한다....


  • 도쿄 구울

    평점: 4 사람을 먹는 괴물인 구울이 존재한다는 뻔한 설정이지만 그 설정속에서 현실적이고 철학적인 주제들로 고민하는 캐릭터들을 매력적으로 그려내고 있으며 균형잡힌 서술을 통해 인간과 구울에 모두 감정이입하게 만들어 독자에게 모순적인 감정이 들게 만든다. 상생의 여지가 극단적으로 없는 환경에서도 폭력이 아닌 대화와 타협이 가능한가 라는 물음을 제기한다. 타협의 가치를 추구하는 주인공이 지속적으로...


  • Variational Inference with Normalizing Flows

    WHY? Variational Inference를 할때 다루기 쉬운 형태의 posterior함수 q를 가정하고 이를 실제 분포에 근사한다. 하지만 posterior를 쉬운 형태로 가정하기 때문에 실제 분포에 잘 근사되지 않는 것과 같은 한계가 존재한다. WHAT? Normalizing flow란 확률분포를 일련의 가역변환을 통하여 변화시키는 과정이다. 중요한 것은 변화한 뒤의 분포의 likelihood를 파악하는 것이다. 변화 이후의 likelihood를 파악하기...