💿 Data

[딥러닝, NLP] 분포 가설, Word2Vec

분포 가설(Distributed Representation) 횟수 기반이 아닌, 단어의 분포를 기반으로 표현하는 분포기반 단어표현의 배경이 되는 가설 비슷한 위치에 등장하는 단어들은 비슷한 의미를 지닌다.는 가설입니다. Word2Vec 말그대로 단어를 벡터화하는 방법 중 하나로 원핫인코딩과는 다른 분산 표현 방법입니다. 원핫인코딩은 단어 벡터의 차원이 단어 집합의 크기가 되며, 해당하지 않는 열에는 전부 0 값으로 희소하다면, Word2Vec은 비교적 저차원에 단어의 의미를 분산하여 표현하게 됩니다. 주변 단어를 input으로 중심 단어를 예측하는 CBoW 방법과 중심 단어를 input으로 주변 단어를 예측하는 Skip-gram 방법이 있습니다.

[딥러닝, NLP] 불용어, 추출, BoW/TF-IDF

불용어(Stop words) 자주 등장하지만 자연어를 분석하는 것에 있어 큰 도움이 되지 않는 단어 갖고 있는 말뭉치 데이터에서 최대한 유의미한 단어(토큰)를 선별하기 위해 불용어는 제거하는 것이 좋습니다. I, he, her, 조사, 접미사 같은 단어들이 대부분 불용어로 처리됩니다. 어간 추출(Stemming) 말뭉치 데이터에서 단어를 줄일 수 있는 정규화 방법 중 하나 단어에서 개념적 의미를 갖는 어간만 추출하는 방법 ex) analysis과 analytic -> 둘 다 분석의 의미를 갖고 있으므로 analy로 줄일 수 있습니다. 예시와 같이 어간만 추출하다보니 사전에 없는 단어가 생기게 됩니다. 표제어 추출(Lemmatization) 마찬가지로 말뭉치 데이터에서 단어를 줄일 수 있는 정규화 방법 중..

[TIL]78. 순환 신경망(RNN)

키워드 순환 신경망(Recurrent Neural Network ; RNN) LSTM GRU Attention 언어 모델(Language Model) 문장과 같은 단어 시퀀스에서 각 단어(토큰)의 확률을 계산하는 모델 Word2Vec도 그 예시 중 하나 통계적 언어 모델(Statistical Language Model, SLM) 신경망 언어 모델 이전 방식으로 단어의 등장 횟수를 바탕으로 조건부 확률을 계산 한계점 : 횟수 기반으로 확률을 계산하기에 희소성(Sparsity) 문제 존재 희소성 문제 : 학습 데이터에 없는 단어는 만들어낼 수 없는 문제 신경망 언어 모델(Neural Language Model, NLM) 횟수 기반이 아닌 Word2Vec 혹은 fastText 등의 출력값인 임베딩 벡터를 사용..

[TIL]77. 단어 분산 표현(Distributed Representation)

키워드 임베딩(Embedding) (vs 원핫인코딩) Word2Vec CBoW, Skip-gram Ditributed Representation 분포 가설 : "비슷한 의미를 지닌 단어들끼리 모여있다" == 유유상종 분산 표현(Distributed Representation) : 분포 가설을 전제로, 단어를 벡터화 원-핫 인코딩(One-Hot Encoding) 범주형 변수를 벡터화하는 방법 중 하나 직관적이고 쉽게 이해할 수 있음 단점 : 코사인 유사도를 구할 수 없음(항상 내적값이 0, 단어 사이 관계 파악 불가), 차원의 저주 임베딩(Embedding) 단어를 고정된 길이의 벡터(차원이 일정한 벡터)로 표현 0, 1로만 이루어진 원핫인코딩과는 다르게 연속적인 값을 가진 벡터로 표현 임베딩 자체의 개념..

[TIL]76. NLP(Natural Language Processing)

키워드 자연어 처리 텍스트 전처리 등장 횟수(빈도수) 기반 단어 표현(벡터화) 자연어 처리 자연어 : 사람들이 일상적으로 쓰는 언어, 자연적으로 발생된 언어 인공어 : 인공적으로 만들어진 언어 자연어 처리로 할 수 있는 일들 자연어 이해(Natural Language Understanding ; NLU) 분류 : 뉴스 기사 분류, 감성 분석 자연어 추론 : 전제에 대한 가설의 참/거짓 판별 기계 독해 : 특정 지문에 대한 질문에 답을 하는 것(비문학 지문 풀듯) 품사 태깅, 객체명 인식 등 자연어 생성(Natural Language Generation ; NLG) 텍스트 생성 : ex) 뉴스 기사 생성, 가사 생성 등 이해와 생성 동시(NLU/NLG) 기계 번역 요약 : 추출 요약(문서 내에서 해당 문서..