WHY?

기존의 RNN모델로는 많은 양의 정보를 함축하지 못하기 때문에 복잡한 추론 문제 등을 푸는데 한계가 있었다.

WHAT?

기존의 정보들을 메모리처럼 저장하고 이를 활용하여 답변을 내는 Memory Network를 제안하였다. Memory Network은 I(input feature map), G(Generalization), O(Output feature map), R(response) 부분으로 이루어져 있다. 모델을 설명하기 위하여 텍스트 인풋을 바탕으로 추론문제를 해결하는 QA모델을 예로 들었다. I모듈은 인풋(단어)를 내부 피쳐 표현으로 전환한다. G모듈은 새로운 데이터가 들어왔을 때 기존의 메모리를 업데이트하는데 쓰이지만 예시에서는 새로운 메모리를 저장하는데에만 쓰였다. O는 인풋과 메모리를 바탕으로 결과를 출력하는데 쓰이며 예시에서는 인풋과 기존 메모리들의 스코어를 계산하여 가장 큰 것을 도출하는데 사용되었다. k를 조절하여 문제 해결을 위하여 필요한 정보의 양을 조절할 수 있다. R은 O의 마지막 계층을 바탕으로 결과를 출력하는데 답변이 하나의 단어일 수도 있고 문장을 생성하기 위한 rnn의 input이 될 수도 있다.

So

복잡하고 많은 양의 정보를 바탕으로 추론해야 하는 문제들에서 좋은 성과를 거두었다.