• Matching Networks for One Shot Learning

    WHY? 현실에서 방대한 데이터와 그에 맞는 label을 구할 수 없기 때문에 몇 가지의 데이터에 대한 label로 좋은 성과를 내는 semi-supervised learning은 중요하다. WHAT? Matching network는 few-shot learning을 위하여 주어진 labeled data를 memory처럼 활용한다. 이 메모리를 활용하여 주어진 데이터들과 새로운 데이터의 attention을 통하여 y를 학습한다. 여기서 embedding vector f와 g는 VGG나...


  • Skip RNN: Learning to Skip State Updates in Recurrent Neural Networks

    WHY? RNN계열의 sequence model들은 언어모델에 효과적이지만 추론이 느리고 gradient가 사라지거나 long-term dependency를 잡지 못하는 등의 문제점이 있다. WHAT? Skip RNN은 State의 update를 skip하면서 계산량을 줄이면서 성능을 유지할 수 있다. 각 State를 skip할 것인지 여부는 state update gate u를 통하여 결정한다. 여기서 는 rounding으로 구현한다. skip이 일정 간격으로 되도록 스킵을 하지...


  • Akira (1982)

    많은 일본 만화를 보다보면 결말부에 간혹 이상한 장면이 나오거나 이상하게 결말나는 작품들이 있다. 갑자기 잘 나가다가 범우주적 시점으로 넓혀서 생명의 원리나 근원, 진화에 대하여 이상한 썰을 풀고 간혹 모든 유기체들이 합쳐지기도 하는 장면이다. 생각나는 작품만 해도 에반게리온, 간츠, 파이어 펀치, 아이엠히어로 등 대부분 미래나 포스트 아포칼립스적인 분위기를 가진 작품들이다. 사실...


  • Pattern Recognition & Machine Learning

    Summary of content during Deepest PRML study.\ Source: Nasrabadi, Nasser M. “Pattern recognition and machine learning.” Journal of electronic imaging 16.4 (2007): 049901.\ 1. Introduction training set / target vector training / learning test set / generalization preprocess / feature extraction supervised learning classification / regression unsupervised learning clustering /...


  • Generating Sentences from a Continuous Space

    WHY? 기존의 언어모델(RNNLM)은 문장을 만들 때 한 단어씩 만들어야 하며 문장의 정보를 가지고 있는 latent representation의 정보를 활용하지 못한다. WHAT? 이 논문에서는 문장의 정보를 함축한 latent representation을 나타내기 위하여 인코더, 디코더에 sequential model을 활용한 VAE를 사용한다. 하지만 종종 sequential model을 디코더로 사용할 경우 디코더가 문장의 정보를 함축한 latent representation을 활용하지...