• Disentangling Controllable and Uncontrollable Factors of Variation by Interacting with the World

    WHY? Independently Controllable Factors에서는 agent가 environment와의 상호작용을 통하여 control가능한 factor들을 학습할 수 있었다. 하지만 uncontrollable한 factor는 인식하지 못한다는 단점이 있었다. WHAT? 이 논문에서는 controllable한 factor와 uncontrollable한 factor를 따로 인식하는 DNN을 두개로 구성한다. 이렇게 하면 충분히 잘 될 것 같지만 어떤것이 controllable하고 어떤 것이 uncontrollable한 object인지 구분하기가 어렵다고 한다. 그렇기 때문에...


  • Learning Hierarchical Features from Generative models

    WHY? NN모델들은 이미지를 인식/분류할 때 계층적 특징들을 학습한다. 하지만 Generative model들은 계층적으로 생성하지 않는다. Stacked Hierarchy를 가지고 있는 HVAE(Hierarchical VAE)같은 경우는 계층적인 구조를 가지고 있지만 각 층이 계층적인 특징을 학습하지 못한다. 마지막 층(Bottom layer)에 정보가 충분하여 마지막 층만 사용하여 이미지를 reconstruct할 수 있다. 하지만 마지막 층만 사용한다면 unimodal하기 때문에 multimodal한...


  • Curriculum Learning

    WHY? 사람은 특정 일을 학습할 때 쉬운 일 부터 배운 후에 점차 어려운 일을 배운다. WHAT? 머신러닝에서도 일의 난이도를 결정하여 쉬운 일 부터 학습하면 같은 데이터로 부터 학습하더라도 수렴 속도를 높이고 더 좋은 local minima에 수렴할 수 있다. 를 시점 의 training distribution이라고 한다면 의 엔트로피가 지속적으로 증가하고 가 단조증가...


  • Ladder Variational Autoencoders

    WHY? VAE는 generation에 상당히 강력한 도구이지만 conditional stochastic variable을 통하여 생성하기 때문에 계층적인 특징을 학습하는 깊은 모델을 만들기 어렵다. WHAT? 기존의 VAE와 LVAE의 generative model은 같다. 기존의 VAE를 계층적으로 만들 경우, inference model과 generative model 사이에는 아무런 연관성이 없다. Ladder-VAE는 inference model은 generative model의 parameter를 precision-weighted combination하여 활용한다. So? MNIST,...


  • Independently Controlable Factors

    WHY? 기존의 이미지에 대한 Disentangling은 static한 이미지에 대하여 이루어져 왔다. 하지만 강화 학습의 프레임웍에서 에이전트가 환경과 상호작용을 한다면 자신의 행동에 대한 독립적인 변화 요인들을 추출할 수 있을 것이다. WHAT? 본 논문에서 조종가능한 요소들을 파악하기 위하여 reconstruction term 이외에 selectivity loss를 추가한다. f, g를 encoder, decoder라고 할 때 latent variable의 수...