[딥러닝, NLP] 불용어, 추출, BoW/TF-IDF

불용어(Stop words)

• 자주 등장하지만 자연어를 분석하는 것에 있어 큰 도움이 되지 않는 단어
• 갖고 있는 말뭉치 데이터에서 최대한 유의미한 단어(토큰)를 선별하기 위해 불용어는 제거하는 것이 좋습니다.
• I, he, her, 조사, 접미사 같은 단어들이 대부분 불용어로 처리됩니다.

어간 추출(Stemming)

• 말뭉치 데이터에서 단어를 줄일 수 있는 정규화 방법 중 하나
• 단어에서 개념적 의미를 갖는 어간만 추출하는 방법
• ex) analysis과 analytic -> 둘 다 분석의 의미를 갖고 있으므로 analy로 줄일 수 있습니다.
• 예시와 같이 어간만 추출하다보니 사전에 없는 단어가 생기게 됩니다.

표제어 추출(Lemmatization)

• 마찬가지로 말뭉치 데이터에서 단어를 줄일 수 있는 정규화 방법 중 하나
• 단어를 기본 사전형으로 추출하는 방법
• ex) lives -> life, am -> be
• 표제어 추출의 경우에도 사전에 없는 단어가 생겨나기도 합니다.

Bag-of-Words

• 횟수 기반의 단어 표현 중 하나로 오로지 단어의 빈도수만 고려합니다.
• 마치 가방에 단어들을 넣고 섞음으로써 순서는 고려하지 않는다는 의미로 Bag이란 표현을 사용합니다.

과정

1. 문서 내의 각 단어에 고유한 정수 인덱스값을 부여합니다.
2. 각 단어 토큰의 등장 횟수를 해당 토큰의 인덱스 위치에 해당하는 벡터를 생성합니다.

TF-IDF

• 단어의 빈도(Term Frequency ; TF)와 역 문서 빈도(Inverse Document Frequency ; IDF)를 곱한 방법입니다.
• 각 단어들마다 중요한 정도를 가중치로 주는 방법입니다.

과정

1. TF : 특정 문서에서 특정 단어의 등장 횟수
2. IDF
   • DF : 특정 단어가 등장한 특정 문서의 수
   • IDF : DF에 반비례하는 값으로, log( n / (1 + df)) 로 나타낼 수 있습니다. (n : 총 문서 수)
   • 여기서 log를 취하는 이유는 log를 취하지 않을 때, 희귀 단어(등장하는 문서가 몇개 없는 단어)의 가중치가 기하급수적으로 커지고 이는 곧 매우 큰 가중치로 작용하기 때문에 스케일을 줄여주는 용도로 사용됩니다.

TF-IDF 값은 특정 문서에서 등장하는 정도에 비례하고 특정 단어가 등장하는 문서 수에는 반비례합니다.
즉, 특정 문서에서 자주 등장하는 것은 중요도가 높다고 판단하고 여러 문서에서 등장하는 경우에는 중요도가 낮다고 판단하는 개념입니다.

이상입니다. 감사합니다. :)