• Human Performance

    6. Language and communication 1. overview p160 2. the perception of print p160 2.1 stages in word perception 문자의 인식은 계층적이다. Figure 6.1 단어 인식의 계층적 구조 2.1.1 The features as a unit: visual search 글자 한 자를 만드는 기호(선, 곡선)을 인식한다. 2.1.2 The letter as a unit: automatic processing...


  • DRAW: A Recurrent Neural Nerwork For Image Generation

    WHY? 사람의 눈은 그림을 볼 때 한번에 보는 것이 아니라 시선에 따라 부분적으로 본다. WHAT? DRAW는 기본적으로 VAE의 구조를 가지고 있다. 하지만 encoder와 decoder를 모두 rnn을 사용한다. 그래서 encoder와 decoder는 code의 sequence를 주고 받을 뿐만 아니라 encoder가 전시점의 decoder의 output에도 의존한다. 또한 한번에 그림의 픽셀을 결정하는 것이 아니라 부분을 지속적으로...


  • Disentangling Controllable and Uncontrollable Factors of Variation by Interacting with the World

    WHY? Independently Controllable Factors에서는 agent가 environment와의 상호작용을 통하여 control가능한 factor들을 학습할 수 있었다. 하지만 uncontrollable한 factor는 인식하지 못한다는 단점이 있었다. WHAT? 이 논문에서는 controllable한 factor와 uncontrollable한 factor를 따로 인식하는 DNN을 두개로 구성한다. 이렇게 하면 충분히 잘 될 것 같지만 어떤것이 controllable하고 어떤 것이 uncontrollable한 object인지 구분하기가 어렵다고 한다. 그렇기 때문에...


  • Learning Hierarchical Features from Generative models

    WHY? NN모델들은 이미지를 인식/분류할 때 계층적 특징들을 학습한다. 하지만 Generative model들은 계층적으로 생성하지 않는다. Stacked Hierarchy를 가지고 있는 HVAE(Hierarchical VAE)같은 경우는 계층적인 구조를 가지고 있지만 각 층이 계층적인 특징을 학습하지 못한다. 마지막 층(Bottom layer)에 정보가 충분하여 마지막 층만 사용하여 이미지를 reconstruct할 수 있다. 하지만 마지막 층만 사용한다면 unimodal하기 때문에 multimodal한...


  • Curriculum Learning

    WHY? 사람은 특정 일을 학습할 때 쉬운 일 부터 배운 후에 점차 어려운 일을 배운다. WHAT? 머신러닝에서도 일의 난이도를 결정하여 쉬운 일 부터 학습하면 같은 데이터로 부터 학습하더라도 수렴 속도를 높이고 더 좋은 local minima에 수렴할 수 있다. 를 시점 의 training distribution이라고 한다면 의 엔트로피가 지속적으로 증가하고 가 단조증가...