Gradient Estimation Using Stochastic Computation Graphs
WHY?
Many machine learning problems involves loss function that contains random variables. To perform backpropagation, estimating gradient of the loss function is required.
Many machine learning problems involves loss function that contains random variables. To perform backpropagation, estimating gradient of the loss function is required.
Former studies on probabilistic reasoning assume that reasoning is memoryless, which means all the inference occur independently without the reuse of previous computation.
LDA를 통하여 토픽 모델링을 할 때 시간적으로 토픽과 그에 대한 단어 분포가 변화하는 정보를 반영하지 못한다.
네트워크의 노드들을 Skipgram과 같이 distributed representation을 통하여 나타내려고 했다. 최근의 이러한 시도들은 노드의 이웃들을 경직되게 정의하여 다양한 네트워크 모양의 패턴을 파악하는데 실패하였다.