[딥러닝, NLP] 분포 가설, Word2Vec

분포 가설(Distributed Representation)

• 횟수 기반이 아닌, 단어의 분포를 기반으로 표현하는 분포기반 단어표현의 배경이 되는 가설
• 비슷한 위치에 등장하는 단어들은 비슷한 의미를 지닌다.는 가설입니다.

Word2Vec

• 말그대로 단어를 벡터화하는 방법 중 하나로 원핫인코딩과는 다른 분산 표현 방법입니다.
• 원핫인코딩은 단어 벡터의 차원이 단어 집합의 크기가 되며, 해당하지 않는 열에는 전부 0 값으로 희소하다면, Word2Vec은 비교적 저차원에 단어의 의미를 분산하여 표현하게 됩니다.
• 주변 단어를 input으로 중심 단어를 예측하는 CBoW 방법과 중심 단어를 input으로 주변 단어를 예측하는 Skip-gram 방법이 있습니다.