💿 Data/이모저모

[딥러닝, NLP] 다양한 텍스트 전처리 방법

1. 텍스트 전처리 1-1. 단순 토큰화 exam = ["I want to be a superman. Sometimes, I imagine that i have a super power and fly to the sky without anything. Someone says 'it's not possible', but i trust myself.", "I feel better than anytime."] import spacy from spacy.tokenizer import Tokenizer nlp = spacy.load("en_core_web_sm") tok = Tokenizer(nlp.vocab) exam_token = [] for doc in tok.pipe(exam): do..

[딥러닝, NLP] Transformer(Positional encoding, Attention)

Positional Encoding RNN과 달리 Transformer는 모든 토큰이 한번에 입력되기 때문에 recursive를 통한 단어 간 위치, 순서 정보를 담을 수 없습니다. 그렇기 때문에, 애초에 input 시 토큰의 위치에 대한 정보를 만들어 토큰에 포함시키는 작업을 하게 되는데 이 과정이 Positional Encoding 입니다. Self-Attention Attention : 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 참고하는 방법. 이 때, 전체 입력되는 문장의 토큰을 동일한 비중으로 참고하는 것이 아닌, 해당 시점의 예측할 단어와 연관성이 높은 입력 토큰을 더 비중있게 집중(attention)해서 보는 방법입니다. 문장 내에서의 토..

[딥러닝, NLP] RNN, LSTM, GRU

RNN(Recurrent Neural Network) 입력층 -> 은닉층 -> 출력층의 구조만을 갖는 신경망을 피드 포워드 신경망이라고 합니다. 반면 순환 신경망(RNN)은 은닉층에서 나온 값을 출력층으로 보내면서 동시에 다시 은닉층 노드의 결과값을 다음 계산을 위한 입력으로 보내는 구조를 갖고 있습니다.RNN 구조 왼쪽과 오른쪽 모두 RNN 구조를 표현한 그림입니다. 오른쪽 그림을 기준으로 3번째 셀(연두색 네모)는 이전 x2에 의한 결과값과 새로운 input인 x3를 함께 받아 y3의 출력값을 내놓게 됩니다. 즉, RNN은 t 시점에서 x_t의 입력값에 대한 출력값 y_t를 계산할 때, 이전 시점(t-1)에 대한 결과값을 함께 입력값으로 받아 반영하게 됩니다. 이러한 구조를 갖는 이유는 자연어, 시계..

[딥러닝, NLP] 분포 가설, Word2Vec

분포 가설(Distributed Representation) 횟수 기반이 아닌, 단어의 분포를 기반으로 표현하는 분포기반 단어표현의 배경이 되는 가설 비슷한 위치에 등장하는 단어들은 비슷한 의미를 지닌다.는 가설입니다. Word2Vec 말그대로 단어를 벡터화하는 방법 중 하나로 원핫인코딩과는 다른 분산 표현 방법입니다. 원핫인코딩은 단어 벡터의 차원이 단어 집합의 크기가 되며, 해당하지 않는 열에는 전부 0 값으로 희소하다면, Word2Vec은 비교적 저차원에 단어의 의미를 분산하여 표현하게 됩니다. 주변 단어를 input으로 중심 단어를 예측하는 CBoW 방법과 중심 단어를 input으로 주변 단어를 예측하는 Skip-gram 방법이 있습니다.

[딥러닝, NLP] 불용어, 추출, BoW/TF-IDF

불용어(Stop words) 자주 등장하지만 자연어를 분석하는 것에 있어 큰 도움이 되지 않는 단어 갖고 있는 말뭉치 데이터에서 최대한 유의미한 단어(토큰)를 선별하기 위해 불용어는 제거하는 것이 좋습니다. I, he, her, 조사, 접미사 같은 단어들이 대부분 불용어로 처리됩니다. 어간 추출(Stemming) 말뭉치 데이터에서 단어를 줄일 수 있는 정규화 방법 중 하나 단어에서 개념적 의미를 갖는 어간만 추출하는 방법 ex) analysis과 analytic -> 둘 다 분석의 의미를 갖고 있으므로 analy로 줄일 수 있습니다. 예시와 같이 어간만 추출하다보니 사전에 없는 단어가 생기게 됩니다. 표제어 추출(Lemmatization) 마찬가지로 말뭉치 데이터에서 단어를 줄일 수 있는 정규화 방법 중..