• Deadpool2 (2018)

    평점: 4.5 1차원 개그들도 뼈있는 개그들과 잘 섞으면 꽤 웃길 수 있다는 것을 깨달았다. 주의: 쿠키에 마약들었음.


  • Learning Disentangled Representations with Semi-Supervised Deep Generative Models

    WHY? VAE구조를 활용하여 semi-superviesd training을 할 때 label정보를 활용하여 label에 관한 정보와 그 외의 정보를 disentangle하고자 한다. WHAT? semi-supervised training은 label이 있는 데이터와 label이 없는 데이터에 따라 목적식이 두가지로 구분된다. label이 없는 데이터의 식은 기존의 unsupervised와 같으므로 생략하고 label이 있는 데이터의 목적식을 다음과 같이 변형할 수 있다. 그리고 weight에 따라...


  • Neural Turing Machine

    WHY? 기존의 Turing Machine, 혹은 Von Neumann architecture 구조를 가진 컴퓨터들은 elementary operations, logical flow control, external memory라는 근본 메커니즘을 가진다. 기존의 machine learning 기법들은 이 세가지 메커니즘 중 첫번째에 집중해왔다. 최근 나온 RNN구조는 Turing complete하여 이를 활용하여 Neural Truing Machine을 만들 수 있다. 기존 Turing machine과는 다르게 NTM은 gradient...


  • Hierarchical Variational Autoencoders for Music

    WHY? VAE의 구조의 latent variable을 사용하여 sequence를 reconstruct하려는 시도는 많았다. 하지만 decoder가 너무 강력해서 latent variable을 무시하는 ‘Posterior Collapse’현상이 많이 일어나서 긴 sequence의 정보를 가진 latent variable을 구성하긴 힘들었다. WHAT? 이 모델은 모델링하려는 sequence의 길이에 따라 바뀐다. 여기에서는 2마디, 32마디, 16마디의 구조를 가지고 실험하였다. 이 모델의 encoder는 간단한 bidirectional LSTM이다(2048...


  • Highway Network

    WHY? 일반적으로 뉴럴 네트워크의 층이 깊어지면 성능이 향상되지만 그만큼 학습하기는 더욱 어려워진다. WHAT? Highway network은 LSTM의 구조에서 착안하여 각 층들에 대하여 gate를 학습하는 장치를 추가하였다. H는 activation, T는 transform gate, C는 carry gate로 정의된다. C는 보통 1-T로 정의된다. 여기에서 x, y, H(x, W), T(x, W)의 dimension이 일치해야 하기 때문에 x를...