Flying Colors (2015)
평점: 4.5
The Consciousness Prior
in Studies on Deep Learning, Deep Learning
WHY?
consciousness를 특정 순간의 awareness라고 한다면 여러 저차원 concept들의 조합이라고 생각할 수 있다. 이러한 저차원 개념(thought vector)들은 현실에 대한 사실이거나 결정을 내리는데 유용한 명제(statement)로 구성될 수 있다. 이러한 의식을 통하여 미래에 대한 예측을 하고 의사결정을 내릴 수 있다. 기존에는 감각으로 부터 오는 데이터(sensory data)로 부터 직접 의사결정을 한다고 간주되어 왔지만 consciousness prior는 agent가 고층위 abstract space에서 예측 및 의사결정을 내릴 수 있게 해준다. 이러한 conciousness prior는 복잡한 의식으로 부터 단순화된 언어를 통하여 표현하는 자연어 발화 과정에도 부합한다. consciousnes는 agent가 현재에 유용한 표현을 만들기 위하여 abstract concept들 중에서 몇몇의 concept에 주목하여 구성된다는 점에서 착안하여 attentive awareness 라고도 볼 수 있다.
Matching Networks for One Shot Learning
in Studies on Deep Learning, Deep Learning
WHY?
현실에서 방대한 데이터와 그에 맞는 label을 구할 수 없기 때문에 몇 가지의 데이터에 대한 label로 좋은 성과를 내는 semi-supervised learning은 중요하다.
Skip RNN: Learning to Skip State Updates in Recurrent Neural Networks
WHY?
RNN계열의 sequence model들은 언어모델에 효과적이지만 추론이 느리고 gradient가 사라지거나 long-term dependency를 잡지 못하는 등의 문제점이 있다.
Akira (1982)
많은 일본 만화를 보다보면 결말부에 간혹 이상한 장면이 나오거나 이상하게 결말나는 작품들이 있다. 갑자기 잘 나가다가 범우주적 시점으로 넓혀서 생명의 원리나 근원, 진화에 대하여 이상한 썰을 풀고 간혹 모든 유기체들이 합쳐지기도 하는 장면이다. 생각나는 작품만 해도 에반게리온, 간츠, 파이어 펀치, 아이엠히어로 등 대부분 미래나 포스트 아포칼립스적인 분위기를 가진 작품들이다. 사실 작품의 결말은 작품의 인상을 마무리하는 가장 중요한 파트라고 할 수 있는데 이렇게 여러 작품들에서 생명의 근원과 목적과 같은 근원적인 질문들에 대한 작가의 썰을 풀어놓는 식의 결말들이 이상하게 느껴졌다. 하지만 이러한 모든 작품들이 어디서 영향을 받았는지 1982년작 아키라를 보고 알게되었다. 뿐만 아니라 이후 수 많은 동 서양 작품들이 영향을 받게 되는 도시 한 가운데에서의 폭발 혹은 폭주, 그리고 사이버 펑크와 포스트 아포칼립스적 분위기의 도시와 같은 요소들이 이 작품에서 유래되었다고 한다. 1982년이라고 상상할 수 없는 고퀄의 작화와 스토리는 차치하더라도 이렇게 많은 요소들을 처음으로 한 만화에서 담아내고 지금까지도 영향력을 가지고 있다는 점이 놀랍다. 고대 역사 유적을 방문하고 온 느낌이다.
Generating Sentences from a Continuous Space
WHY?
기존의 언어모델(RNNLM)은 문장을 만들 때 한 단어씩 만들어야 하며 문장의 정보를 가지고 있는 latent representation의 정보를 활용하지 못한다.
SCAN: Learning Hierarchical Compositional Visual Concepts
WHY?
실제 세상은 물리나 화학과 같은 몇 가지 일관적인 규칙으로 부터 무한히 다양한 형태가 나온다. 이러한 규칙들은 추상화를 통하여 개념으로 나타날 수 있으며 이러한 개념들의 계층과 조합을 통하여 지수적으로 많은 개념을 만들어낸다.
A simple neural network module for relational reasoning
in Studies on Deep Learning, Deep Learning
WHY?
관계적 추론(relation reasoning)은 중요한 지능 중 하나지만 neural net은 이를 학습하지 못하였다. 그리하여 관계를 묻는 문제에 답하는 일에 대해서는 좋은 성과를 거두지 못하고 있었다.
