• Disentangling by Factorising

    WHY? Beta-VAE에서는 q(z|x)와 p(z)의 KL divergence에 추가적인 penalty를 줌으로서 z간의 독립성을 유도하여 disentangling을 이루었다. 하지만 기존의 vae보다 reconstruction 성능이 떨어지는 결과가 나타났다. WHAT? 위의 KL divergence는 다음과 같이 두 항으로 나누어질 수 있다. 위에서 I(x;z)항은 x, z의 mutual information을 의미하는데 이에 penalty를 줄 경우 x와 z의 공통 정보량이 적어지는 부작용이...


  • Adversarially Regularized Autoencoders

    WHY? 기존의 autoencoder는 이미지나 음성과 같은 연속형 데이터에 대한 latent structure를 잘 잡았지만 텍스트와 같은 discrete한 데이터의 latent structure를 잡는 것은 어려웠다. WHAT? Adversarially regularized autoencoder는 discrete한 데이터들을 latent space에 smooth하게 plot하는 것이 목적이다. 이를 위하여 특정 분포(Gaussian Normal)을 가정하고 latent의 분포를 이에 Wasserstein distance를 이용하여 근사시키는 방법을 사용한다. 목적식은...


  • [Pytorch] AAE

    Adversarial Autoencoder를 Pytorch로 구현 https://github.com/Lyusungwon/pytorch/tree/master/aae Reference https://github.com/musyoku/adversarial-autoencoder Note latent variable들을 내가 원하는 그림 문양으로 만들고 싶어서 이미지로부터 sampling하는 부분을 구현 기하학적 모양을 sampling하는 부분은 참고하였 Reconstruction은 잘 되나 latent variable을 내가 원하는 모양으로 만드는 것은 실패. Result


  • Information Modeling Method and Application

    Information Modeling Method and Application Internet and Web Fundamentals: 3 네트워크 지수법칙10 www의 출현과 성장 13 W3C 14 web browser 15 웹의 구성 요소 16 URL 18 HTML form 23 HTTP message request / response 30 web services 33 WWW web server web client plugin web proxy 35 browser 39...


  • Wild tales

    평점: 4 화끈한 이야기들(Wild tales)의 야생의 흔적(Wild tails). 뒤도 생각 안하고 뻗치는 분노는 얼마나 자연스러운가?