in Studies on Deep Learning, Natural Language Processing, Knowledge Graph
Commonsense knowledge graph can be useful source of explicit knowledge for generating texts that make sense. However, it is hard to use KG since it would hold huge amount of information than needed. Retrieving graphs which is relevent for the generation is the key.
in Studies on Deep Learning, Natural Language Processing, Knowledge Graph
Though knowledge graph can capture the essence of corpus, generating sentences based on the graph is difficult task. This paper tried to generate texts(paper abstracts) from KG in science(AI) domain.
in Studies on Deep Learning, Natural Language Processing, Knowledge Graph
Knowledge graph is graph representation of knowledge. Entities are represented as nodes and relations between entities are represented as edges. Commonsense knowledge graph stores commonsense knowledge in form of graphs. Two of common dataset for commonsense knowledge graph are ATOMIC and ConceptNet.
Information retrieval from search engine becomes difficult when the query is incomplete or too complex. This paper suggests a query reformulation system that rewrite the query to maximize the probability of relevant documents returned.
Former Transformer was unidirectional language model.
Dimension of word embedding is usually determined with heuristic.
Vector offset method is used for word analogy task.
Vector space word representations capture syntactic and semantic regularities in language well.
Skip-Gram Negative Sampling(SGNS) showed amazing performance compared to traditional word embedding methods. However, it was not clear where SGNS converge to.
Traditional continuous word embeddings based on linear contexts. In other words, word embeddings considered only surrounding words as context.
Word embedding using neural network(Skipgram) seems to outperform traditional count-based distributional model. However, this paper points out that current superiority of word2vec is not because of the algorithm itself, but because of system design choices and hyperparameter optimizations.
This paper first prove that the expresiveness of a language model is restricted by softmax and suggest a way to overcome this limit.
Former word representations such as Word2Vec or GloVe didn’t contained linguistic context.
All the previous neural machine translators are based on word-level translation. Word-level translators has critical problem of out-of-vocabulary error.
Hierarchical recurrent encoder-decoder model(HRED) that aims to capture hierarchical structure of sequential data tends to fail because model is encouraged to capture only local structure and LSTM often has vanishing gradient effect.
Sentence를 vector representation으로 나타내는 것은 쉽지 않고 특히 Unlabeled data로 부터 만드는 것은 더욱 어렵다.
RNN계열의 sequence model들은 언어모델에 효과적이지만 추론이 느리고 gradient가 사라지거나 long-term dependency를 잡지 못하는 등의 문제점이 있다.
기존의 언어모델(RNNLM)은 문장을 만들 때 한 단어씩 만들어야 하며 문장의 정보를 가지고 있는 latent representation의 정보를 활용하지 못한다.
기존의 sequence transduction모델들은 복잡한 RNN이나 CNN을 기반으로 하였고 attention mechanism을 활용하였다.
기존 machine comprehension 모델들의 attention은 문맥의 조그마한 부분에 주목하여 문맥을 특정 길이의 벡터로 요약을 하고 어탠션을 단방향적으로, temporal하게 적용하였다. 이러한 기존의 attention 방법은 요약하는 과정에서 정보를 손실하기도 하고 순차적으로 이루어지는 attention간에 의존성이 나타나기 때문에 attention의 역할과 model의 역할이 섞이게 된다.
기존의 MC(Machine Comprehension)의 데이터셋들(CNN/DailyMail/SQuAD)은 제시문과 그에 직접적인 질문들이 주어진다. 하지만 인간이 정보 검색을 할때의 환경은 훨씬 노이즈가 심하다.
기존의 NMT(Neural Machine Translation) 모델들은 특정 source languange에서 특정 target language로만 번역할 수 있었고 이를 위하여 이에 맞는 corpus가 필요하였다.
기존의 RNN모델로는 많은 양의 정보를 함축하지 못하기 때문에 복잡한 추론 문제 등을 푸는데 한계가 있었다.
기존의 언어 모델들은 특정 문제에만 좋은 성과를 보일 수 있는 구조를 가지고 있지만 일반적인 모든 문제에 적용하기는 힘들다. Dynamic Memory Network는 어떤 자연어 처리 문제도 해결할 수 있는 구조를 가지고 있다.
QA의 정확도를 올리기 위하여 QA모델의 성능만 올릴 필요는 없다. 좀더 정확한 답을 얻기 위하여 각 QA모델에게 적합하도록 질문을 재구성하는 방법을 고안하였다.
기존의 encoder-decoder model들은 인코더의 맨 마지막 벡터의 모든 input정보가 담겨야 해서 긴 문장을 번역하는데 한계가 있었다.
기존의 Skipgram과 CBOW는 일정 window 내의 정보만 반영할 뿐 global한 frequency정보는 반영하지 못한다.
최근 제시된 Skipgram의 성능을 향상시킬만한 여러 기법을 시행하였다.
한 단어의 길이는 정해져 있지만 한 문단이나 문서의 길이는 정해져 있지 않기 때문에 하나의 벡터로 만드는데 어려움이 있다. 이를 극복하기 위해 Paragraph Vector를 제안한다.
Continuous Word Representation을 평가할 수 있는 방법을 제시하고
더 많은 데이터들로 부터 더 빠르게 더 나은 표현을 학습할 수 있는 Continous Bag-of-Words(CBOW)와 Continous Skip-gram Model을 제시
Rejoice in what you learn and spray it!