[TIL]76. NLP(Natural Language Processing)

키워드

• 자연어 처리
• 텍스트 전처리
• 등장 횟수(빈도수) 기반 단어 표현(벡터화)

자연어 처리

• 자연어 : 사람들이 일상적으로 쓰는 언어, 자연적으로 발생된 언어 <-> 인공어 : 인공적으로 만들어진 언어

자연어 처리로 할 수 있는 일들

1. 자연어 이해(Natural Language Understanding ; NLU)
   • 분류 : 뉴스 기사 분류, 감성 분석
   • 자연어 추론 : 전제에 대한 가설의 참/거짓 판별
   • 기계 독해 : 특정 지문에 대한 질문에 답을 하는 것(비문학 지문 풀듯)
   • 품사 태깅, 객체명 인식 등

2. 자연어 생성(Natural Language Generation ; NLG)
   • 텍스트 생성 : ex) 뉴스 기사 생성, 가사 생성 등

3. 이해와 생성 동시(NLU/NLG)
   • 기계 번역
   • 요약 : 추출 요약(문서 내에서 해당 문서를 요약하는 부분을 찾아내기), 생성 요약(문서를 잘 표현하는 요약문 생성)
   • 챗봇 : TOD(Task Oriented Dialog, 특정 테스크를 처리하기 위한 챗 봇 -> NLU에 좀더 가까움), ODD(Open Domain Dialog, 대화형)

4. 기타
   • TTS(Text to Speech), STT(Speach to Text), Image Captioning 등

텍스트 전처리(Text Prprocessing)

• 내장메소드 활용 ex) lower(), replace()
• 정규 표현식(Regular expression ; Regex) -> import re
• 불용어(Stop words) 처리
• 통계적 트리밍(Trimming)
• 어간 추출(Stemming) : 단어의 의미가 포함된 부분(어간)만 추출 -> from nltk.stem import PorterStemmer
• 표제어 추출(Lemmatization) : 기본 사전형 단어 형태를 추출 -> spacy에서 제공됨

전처리 필요 이유

• 토큰이 등장한 횟수 기반의 벡터 표현에서 전체 말뭉치에 존재하는 단어의 종류가 데이터셋의 컬럼이 됨
• 즉, 단어를 최대한 줄여줘야 컬럼의 갯수를 줄일 수 있고 이는 곧 차원의 저주를 방지할 수 있는 효과

spacy를 이용할 때의 기본적인 코드

import spacy
from spacy.tokenizer import Tokenizer

nlp = spacy.load("en_core_web_sm")

tokenizer = Tokenizer(nlp.vocab)

정규표현식

• 구두점, 특수문자 등 필요없는 문자가 말뭉치 내에 있을 때, 토큰화가 제대로 이루어지지 않음
• 이를 제거하기 위해 사용가능한 방법이 정규표현식(regex)

import re

regex = r"[^a-zA-Z0-9 ]" # a~z, A~Z, 0~9 가 아닌 경우(^)를 의미

# 정규식을 적용할 스트링
test_str = ("(Natural Language Processing) is easy!, AI!\n")

# 치환할 문자
subst = ""

result = re.sub(regex, subst, test_str)
result

Natural Language Processing is easy AI
즉, 위의 regex에 해당하는 문자들을 전부 '' 공백으로 바꿔줌

벡터화

• 자연어를 컴퓨터가 이해할 수 있도록 벡터 형태로 바꿔주는 과정
• 등장 횟수 기반 단어 표현(Count-based Representation) : 단어가 문서에 등장하는 횟수를 기반으로 벡터화
  • TF(Bag-of-Words) : CounterVerctorizer
  • TF-IDF : TfidfVectorizer
• 분포 기반의 단어 표현(Distributed Representation) : 타겟 단어 주변에 있는 단어를 기반으로 벡터화
  • Word2Vec
  • GloVe
  • fastText

개념에 대한 정리