• Curriculum Learning

    WHY? 사람은 특정 일을 학습할 때 쉬운 일 부터 배운 후에 점차 어려운 일을 배운다. WHAT? 머신러닝에서도 일의 난이도를 결정하여 쉬운 일 부터 학습하면 같은 데이터로 부터 학습하더라도 수렴 속도를 높이고 더 좋은 local minima에 수렴할 수 있다. 를 시점 의 training distribution이라고 한다면 의 엔트로피가 지속적으로 증가하고 가 단조증가...


  • Ladder Variational Autoencoders

    WHY? VAE는 generation에 상당히 강력한 도구이지만 conditional stochastic variable을 통하여 생성하기 때문에 계층적인 특징을 학습하는 깊은 모델을 만들기 어렵다. WHAT? 기존의 VAE와 LVAE의 generative model은 같다. 기존의 VAE를 계층적으로 만들 경우, inference model과 generative model 사이에는 아무런 연관성이 없다. Ladder-VAE는 inference model은 generative model의 parameter를 precision-weighted combination하여 활용한다. So? MNIST,...


  • Independently Controlable Factors

    WHY? 기존의 이미지에 대한 Disentangling은 static한 이미지에 대하여 이루어져 왔다. 하지만 강화 학습의 프레임웍에서 에이전트가 환경과 상호작용을 한다면 자신의 행동에 대한 독립적인 변화 요인들을 추출할 수 있을 것이다. WHAT? 본 논문에서 조종가능한 요소들을 파악하기 위하여 reconstruction term 이외에 selectivity loss를 추가한다. f, g를 encoder, decoder라고 할 때 latent variable의 수...


  • Flying Colors (2015)

    평점: 4.5 뜻이 있는 곳에 길이 있다.


  • [Pytorch] Beta-VAE

    Beta-VAE를 이용하여 피카츄 배구 데이터의 disentangling을 Pytorch로 구현 https://github.com/Lyusungwon/pytorch/tree/master/beta-vae Reference Note Result