• 뻐꾸기 둥지 위로 날아간 새

    평점: 4.5 폭력보다 더 억압적인 존댓말. 하지만 부끄럽지 않다고 말할 때, 빌리는 처음으로 말을 더듬지 않았다.


  • Neural Discrete Representation Learning

    WHY? VAE에서 추출하는 latent variable들은 기본적으로 continuous하다. 하지만 언어와 같이 discrete환경에서는 discrete한 latent variable들이 필요하기도 하다. WHAT? discrete한 latent variable들을 학습하기 위하여 Vector Quantization 방법을 사용하여 VQ-VAE라고 명명하였다. 이를 위해 먼저 latent embedding space 를 정의한다. 여기서 k는 discrete한 latent variable들의 숫자, D는 variable들의 차원을 의미한다. encoder를 통하여 input의 latent...


  • 싱스트리트

    평점: 3.5 성장 영화라고 하기엔 주인공이 너무 가뿐하게 성장하는 것 같다


  • Wavenet: A Generative Model For Raw Audio

    WHY? PixelRNN에서는 LSTM을 활용하여 distribution으로부터 auto-regressive한 구조를 추출할 수 있었다. WHAT? Wavenet은 raw audio signal형태로 오디오를 생성하는 모델이다. 기본적으로는 PixelRNN논문에서 제시되었던 PixelCNN의 구조를 차용하였다. mask CNN이 적용되는 여러층의 hiddenlayer를 쌓고 softmax를 통하여 categorical output를 예측하는 모델의 log-liklihood를 최대화한다. Wavenet에서 적용한 특이한 구조는 dilated causal convolution이다. 기존의 구조에서 receptive field가 hidden...


  • Pixel Recurrent Neural Networks

    WHY? 이미지의 generation을 위해서 density를 추정해야하는데 이는 매우 어려운 일이다. WHAT? pixelrnn은 새로운 픽셀의 확률 분포를 주어진 다른 픽셀들의 확률 분포로 가정한다. 그리고 각 픽셀의 색(RGB)의 값들도 순서대로 conditional하게 주어진다고 가정한다. 그리고 각 픽셀의 값의 분포를 continuous가 아닌 discrete로 가정하고 softmax를 통하여 추정하였다. 이렇게 다른 픽셀들로 부터 sequential하게 정보를 받는...