[TIL]77. 단어 분산 표현(Distributed Representation)

키워드

• 임베딩(Embedding) (vs 원핫인코딩)
• Word2Vec
• CBoW, Skip-gram

Ditributed Representation

• 분포 가설 : "비슷한 의미를 지닌 단어들끼리 모여있다" == 유유상종
• 분산 표현(Distributed Representation) : 분포 가설을 전제로, 단어를 벡터화

1. 원-핫 인코딩(One-Hot Encoding)

• 범주형 변수를 벡터화하는 방법 중 하나
• 직관적이고 쉽게 이해할 수 있음
• 단점 : 코사인 유사도를 구할 수 없음(항상 내적값이 0, 단어 사이 관계 파악 불가), 차원의 저주

2. 임베딩(Embedding)

• 단어를 고정된 길이의 벡터(차원이 일정한 벡터)로 표현
• 0, 1로만 이루어진 원핫인코딩과는 다르게 연속적인 값을 가진 벡터로 표현
• 임베딩 자체의 개념은 NLP 뿐만이 아닌 다른 딥러닝 분야에서도 등장하는 개념

Word2Vec

• 단어를 벡터로 나타내는 방법으로 가장 자주 사용되는 임베딩 방법 중 하나

1. CBoW 방법(Continuous Bag-of-Words)

• 주변 단어를 input 으로 중심 단어를 예측

2. Skip-gram 방법

• 중심 단어를 input 으로 주변 단어를 예측
• 역전파 과정에서 학습이 많음 -> 일반적으로 CBow 보다 성능이 좋고, 계산량이 크기 때문에 리소스를 많이 소모

Word2Vec 모델의 구조(Skip-gram 기준)

• 입력층 : 원-핫 인코딩된 단어 벡터, 노드수는 벡터의 컬럼 수 즉, 결국엔 출력층과 노드수가 같음
• 은닉층 : 임베딩 벡터의 차원 수 만큼의 노드로 구성(층은 1개, 즉 딥러닝은 아님)
• 출력층 : 단어 개수만큼의 노드로 이루어짐, 활성화 함수로 소프트 맥스 사용

Word2Vec 학습을 위한 학습 데이터 디자인 개념

예시 문장) "I want to be a DS" 이고 Window 사이즈 == 2 일때,

1. 중심 단어 : i , 주변단어 : want, to
2. 중심 단어 : want, 주변단어 : I, to, be
3. 중심 단어 : to, 주변단어 : I, want, be, a
4. 중심 단어 : be, 주변단어 : want, to, a, ds
5. 중심 단어 : a, 주변단어 : to, be, ds
6. 중심 단어 : ds, 주변단어 : be, a

즉, Skip-gram 기준 중심 단어는 input, 주변 단어를 output으로 하는 다중 분류 개념

Word2Vec 임베딩의 의미 및 시각화

• Word2Vec을 통해 얻은 임베딩 벡터들은 단어 간의 의미적/문법적 관계가 반영되어있음

gensim 패키지

• gensim은 Word2Vec으로 사전 학습된 임베딩 벡터를 쉽게 사용해볼 수 있는 패키지

import gensim.downloader as api

wv = api.load('word2vec-google-news-300') # 구글뉴스 300만개의 단어에 대한 임베딩 벡터를 가져옴

vec_king = wv['king']

print(vec_king) # 임베딩 벡터값이 출력됨

추가

말뭉치 내에 없는 단어의 경우 OOV(Out Of Voca) 라고 함
또한 tokenizer도 종류가 다양하다는 것! (keras에도 있고 spacy에도 있고 등등)

이외의 코드는 공식문서를 꼭꼭꼭 참고할 것!!!