• Dynamic Routing Between Capsules

    WHY? 기존 CNN의 문제점은 Max-pooling layer에서 feature의 대략적인 존재여부만 확인하고 정확한 공간정보를 버린다는 것이다. 이 때문에 특징이 어디에 존재하건 존재여부를 확인할 수 있는 invariance한 성질을 가지지만 그 특징이 다른 특징들과 전혀 조화를 이루지 못하더라도 이를 구별하지 못한다. 우리가 원하는 것은 특징의 단순한 존재여부 뿐만 아니라 전체적인 조화까지 고려하는 equivariance의 성질이다....


  • Memory Networks

    WHY? 기존의 RNN모델로는 많은 양의 정보를 함축하지 못하기 때문에 복잡한 추론 문제 등을 푸는데 한계가 있었다. WHAT? 기존의 정보들을 메모리처럼 저장하고 이를 활용하여 답변을 내는 Memory Network를 제안하였다. Memory Network은 I(input feature map), G(Generalization), O(Output feature map), R(response) 부분으로 이루어져 있다. 모델을 설명하기 위하여 텍스트 인풋을 바탕으로 추론문제를 해결하는 QA모델을...


  • Mask R-CNN

    WHY? 기존의 화면에서 사물을 박스치는(Detection) Faster-RCNN에서 한 단계 더 나아가서 특정사물의 영역을 표시하는(Segmentation) 모델을 제안하였다. WHAT? 기존의 Faster-RCNN은 Region Proposal Network(RPN)에서 RoIPool을 시행한 결과에 classification과 bounding-box regression을 학습시킨다. Mask-RCNN은 여기에서 한 층을 병렬적으로 확장하여 클래스 마다 각 픽셀을 binary mask로 아웃풋하는 층을 추가하여 학습한다. RoiAlign 방법에서 rounding 방법 대신 bilinear...


  • Ask Me Anything: Dynamic Memory Networks for Natural Language Processing

    WHY? 기존의 언어 모델들은 특정 문제에만 좋은 성과를 보일 수 있는 구조를 가지고 있지만 일반적인 모든 문제에 적용하기는 힘들다. Dynamic Memory Network는 어떤 자연어 처리 문제도 해결할 수 있는 구조를 가지고 있다. WHAT? Dynamic Memory Network는 Input module, Question module, Episodic memory module, 그리고 Answer Module로 이루어져 있다. Input module에서...


  • Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

    WHY? QA의 정확도를 올리기 위하여 QA모델의 성능만 올릴 필요는 없다. 좀더 정확한 답을 얻기 위하여 각 QA모델에게 적합하도록 질문을 재구성하는 방법을 고안하였다. WHAT? AQA(Active Question Answering) Agent는 사용자와 QA모델의 사이에서 작동한다. 이 모델은 Eng-Eng seq-seq모델로서 Paraphrasing 기능을 하여 질문을 좀더 좋은 질문으로 변환한다. 이 때 답변에 대한 평가는 미분이 불가능하기...