[TIL] 81. Section4 Sprint2

자연어처리(Natural Language Processing)에 대해서 배웠던 스프린트

 

추후에 딥러닝 파트에 대해 더 공부하게 된다면 가장 관심 가는 분야여서 많이 기대했던 스프린트이기도 하다. :)

 

- 자연어 처리로 할 수 있는 일들

분류, 번역, 요약, 챗봇, 이미지 캡션 등등

 

- 텍스트에 대한 전처리 과정

내장메소드 이용, 정규 표현식, 불용어 처리, 통계적 트리밍, 어간/표제어 추출

 

- 텍스트의 벡터화(컴퓨터가 이해하기 좋게)

회숫 기반 단어 표현(TF, TF-IDF)

분포 기반 단어 표현(Word2Vec) (임베딩 방법 중 하나)

 

- 자연어 모델링 with 순환 신경망(RNN)

연속형 데이터(sequential data), 병렬화 불가/기울기 소실(장기 의존성 문제)

LSTM, GRU 등장, Attention 활용(기울기 소실 문제 해결)

 

- 트랜스포머(Transformer)

RNN의 기울기 소실 문제를 해결하기 위해 적용한 Attention을 이용해 인코더-디코더 구조를 만든 모델

기계 번역 시 아주 뛰어난 효과를 나타냄

병렬화 계산이 가능해져 속도 향상