GloVe: Global Vectors for Word Representation
WHY?
기존의 Skipgram과 CBOW는 일정 window 내의 정보만 반영할 뿐 global한 frequency정보는 반영하지 못한다.
기존의 Skipgram과 CBOW는 일정 window 내의 정보만 반영할 뿐 global한 frequency정보는 반영하지 못한다.
네트워크의 노드들을 Skipgram과 같이 distributed representation을 통하여 나타내려고 했다. 최근의 이러한 시도들은 노드의 이웃들을 경직되게 정의하여 다양한 네트워크 모양의 패턴을 파악하는데 실패하였다.
최근 제시된 Skipgram의 성능을 향상시킬만한 여러 기법을 시행하였다.
한 단어의 길이는 정해져 있지만 한 문단이나 문서의 길이는 정해져 있지 않기 때문에 하나의 벡터로 만드는데 어려움이 있다. 이를 극복하기 위해 Paragraph Vector를 제안한다.
Continuous Word Representation을 평가할 수 있는 방법을 제시하고
더 많은 데이터들로 부터 더 빠르게 더 나은 표현을 학습할 수 있는 Continous Bag-of-Words(CBOW)와 Continous Skip-gram Model을 제시
I. 예측에 대한 근본적인 의문들
1장 돈으로 살 수 없는 행복, 휘게
오리지널스는 독창적인 사람들에 대한 새로운 시각을 제공해주었다. 독창적인 사람들이란, 단순히 현재의 상황을 있는 그대로 받아들이기를 거부하는 사람들(크롬을 사용하는 사람들)이다. 의문을 제기하고, 창의적인 생각에서 그치는 것이 아니라 실행하여 변화를 이끌어 낸 사람들이다. 하지만 통념과는 달리, 이러한 독창적인 사람들이 모두 엄청난 위험을 감수하는 것은 아니다. 이들은 자신의 위험을 분산하는데 귀재였다. 자신이 몰입하고자 하는 분야 이외에는 감정이 안정되도록 위험관리를 철저하게 했던 것이다.