• Highway Network

    WHY? 일반적으로 뉴럴 네트워크의 층이 깊어지면 성능이 향상되지만 그만큼 학습하기는 더욱 어려워진다. WHAT? Highway network은 LSTM의 구조에서 착안하여 각 층들에 대하여 gate를 학습하는 장치를 추가하였다. H는 activation, T는 transform gate, C는 carry gate로 정의된다. C는 보통 1-T로 정의된다. 여기에서 x, y, H(x, W), T(x, W)의 dimension이 일치해야 하기 때문에 x를...


  • Importance Weighted Autoencoders

    Note Importance Sampling WHY? 기존의 VAE는 posterior inference를 할때 posterior가 factorial하고 parameter들이 observations로 부터 non-linear regression 가능하다고 전제한다. 이러한 전제는 overly simplified되어 있어서 model capacity를 충분히 활용하지 못한다. WHAT? 기존의 VAE는 위 식의 우항을 목적식으로 가진다. 하지만 IWAE(Importance Weighted Autoencoder)는 log p(x)를 추정하기 위하여 k-sample importance weighting estimate of log-likelihood를...


  • Deep Recurrent Q-Learning for Partially Observable MDPs

    WHY? 기존의 DQN은 MDP설정을 따르기 때문에 현재의 상태가 과거의 모든 정보를 포함하고 있다고 전제한다. WHAT? 기존의 DQN에서 과거를 반영하기 위하여 마지막 n장면을 각 채널로 하여 convolution하였다. DRQN(Deep Recurrent Q-Network)에서는 한 frame씩 CNN으로 학습하고 마지막 벡터를 LSTM의 input으로 넣고 마지막 hidden state에 fc를 하여 Q-function을 도출한다. 업데이트 방식은 두 가지가 있을...


  • An Efficient Framework for Learning Sentence Representations

    WHY? Sentence를 vector representation으로 나타내는 것은 쉽지 않고 특히 Unlabeled data로 부터 만드는 것은 더욱 어렵다. WHAT? Distributional hypothesis에 기반하여 한 Sentence를 그 주위에 있는 context sentence를 예측하는 방식으로 sentence representation을 학습한다. 기존의 Skip Thought보다 빠르고 간편하다는 점에서 Quick Thought이라고 이름 붙였다. center encoder f는 RNN계열의 함수로 벡터화 하고자 하는...


  • Linux Basic (Udemy)

    Few useful notes from Learn Linux in 5 Days and Level Up Your Career. Highly recommandable course for people who want to start Linux! Linux? A Linux distribution is comprised of the Linux kernel and additional software. Linux Directory Structure / “Root,” the top of the file system hierarchy. /bin...