• Mask R-CNN

    WHY? 기존의 화면에서 사물을 박스치는(Detection) Faster-RCNN에서 한 단계 더 나아가서 특정사물의 영역을 표시하는(Segmentation) 모델을 제안하였다. WHAT? 기존의 Faster-RCNN은 Region Proposal Network(RPN)에서 RoIPool을 시행한 결과에 classification과 bounding-box regression을 학습시킨다. Mask-RCNN은 여기에서 한 층을 병렬적으로 확장하여 클래스 마다 각 픽셀을 binary mask로 아웃풋하는 층을 추가하여 학습한다. RoiAlign 방법에서 rounding 방법 대신 bilinear...


  • Ask Me Anything: Dynamic Memory Networks for Natural Language Processing

    WHY? 기존의 언어 모델들은 특정 문제에만 좋은 성과를 보일 수 있는 구조를 가지고 있지만 일반적인 모든 문제에 적용하기는 힘들다. Dynamic Memory Network는 어떤 자연어 처리 문제도 해결할 수 있는 구조를 가지고 있다. WHAT? Dynamic Memory Network는 Input module, Question module, Episodic memory module, 그리고 Answer Module로 이루어져 있다. Input module에서...


  • Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

    WHY? QA의 정확도를 올리기 위하여 QA모델의 성능만 올릴 필요는 없다. 좀더 정확한 답을 얻기 위하여 각 QA모델에게 적합하도록 질문을 재구성하는 방법을 고안하였다. WHAT? AQA(Active Question Answering) Agent는 사용자와 QA모델의 사이에서 작동한다. 이 모델은 Eng-Eng seq-seq모델로서 Paraphrasing 기능을 하여 질문을 좀더 좋은 질문으로 변환한다. 이 때 답변에 대한 평가는 미분이 불가능하기...


  • Auto-Encoder Variational Bayes

    Note 오토인코더는 분포 를 축소하여 latent variable z로 요약한 뒤 이를 재구성한 것과 원래의 데이터의 차이를 최소한으로 하도록 인코더와 디코더를 학습한다. 이 결과 z를 통하여 x의 가장 중요한 특징들을 요약하길 바란다. WHY? Variational 방법이란, 특정 분포를 직접 구하기 어려울 경우 우리가 안다고 가정하는 단순한 분포와의 거리(KL Divergence)를 최소한으로 함으로써 그...


  • Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation

    WHY? 기존 DQN의 큰 문제 중 하나는 강화학습 도중 피드백이 sparse하거나 delayed된 경우 충분한 탐색을 하지 못한다는 것이다. Note Semi-MDP란, 기존 MDP의 상태가 바로 그 직전까지의 상태에 의존하고 행동 직후에 다음 상태가 오는 것과 달리 한 행동이 여러 시간을 소모할 수 있는 환경이다. 그렇기 때문에 한 행동을 선택 후 일정한...