💿 Data

[TIL] 81. Section4 Sprint2

자연어처리(Natural Language Processing)에 대해서 배웠던 스프린트 추후에 딥러닝 파트에 대해 더 공부하게 된다면 가장 관심 가는 분야여서 많이 기대했던 스프린트이기도 하다. :) - 자연어 처리로 할 수 있는 일들 분류, 번역, 요약, 챗봇, 이미지 캡션 등등 - 텍스트에 대한 전처리 과정 내장메소드 이용, 정규 표현식, 불용어 처리, 통계적 트리밍, 어간/표제어 추출 - 텍스트의 벡터화(컴퓨터가 이해하기 좋게) 회숫 기반 단어 표현(TF, TF-IDF) 분포 기반 단어 표현(Word2Vec) (임베딩 방법 중 하나) - 자연어 모델링 with 순환 신경망(RNN) 연속형 데이터(sequential data), 병렬화 불가/기울기 소실(장기 의존성 문제) LSTM, GRU 등장, A..

[TIL] 80. Transformer

Transformer 기계 번역을 위한 새로운 모델 Attention 메커니즘을 극대화한 모델 구조적 단어가 순차적으로 들어오는 RNN 모델의 단점을 해결하기 위해 등장한 모델 모든 토큰(단어)를 동시에 입력받아 병렬 처리하기때문에 GPU 연산에 최적화(시간이 빠름) 2017년 구글이 발표한 "Attention is all you need"에서 등장한 모델 기존의 seq2seq의 구조인 인코더-디코더 구조를 따르면서 RNN을 사용하지 않고 Attention만으로 구현한 모델 Positional Encoding(위치 인코딩) RNN과 다르게 순차적으로 토큰을 입력받지 않기 때문에, 토큰의 위치 정보에 대한 벡터를 따로 제공해주는 단계입니다. Self-Attention(셀프-어텐션) - 인코더에 위치 The..

[TIL] 79. 인코더-디코더, Attention

인코더-디코더 RNN의 다대일(many to one) 구조는 주로 분류 문제에 사용됩니다.(문장이 들어오면 긍정인지 부정인 판단하는 감성분석 등) 다대다(many to many) 구조는 주로 개체명 인식, 품사 태깅과 같은 문제를 풀게됩니다. 인코더-디코더의 구조는 하나의 RNN을 인코더, 또 다른 하나의 RNN을 디코더로 두는 구조 두개의 RNN을 연결해서 사용합니다. 인코더-디코더 구조는 주로 입렵 문장과 출력 문장의 길이가 다를 때 사용합니다. 대표적으로 번역기, 텍스트 요약 등이 있습니다. seq2seq(Sequence to Sequence) 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델 챗봇, 기계 번역 등 다양한 분야에서 활용되고 있습니다. 입력 시퀀스를 질문, 출력 시퀀스를 대답 ..

[딥러닝, NLP] Transformer(Positional encoding, Attention)

Positional Encoding RNN과 달리 Transformer는 모든 토큰이 한번에 입력되기 때문에 recursive를 통한 단어 간 위치, 순서 정보를 담을 수 없습니다. 그렇기 때문에, 애초에 input 시 토큰의 위치에 대한 정보를 만들어 토큰에 포함시키는 작업을 하게 되는데 이 과정이 Positional Encoding 입니다. Self-Attention Attention : 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 참고하는 방법. 이 때, 전체 입력되는 문장의 토큰을 동일한 비중으로 참고하는 것이 아닌, 해당 시점의 예측할 단어와 연관성이 높은 입력 토큰을 더 비중있게 집중(attention)해서 보는 방법입니다. 문장 내에서의 토..

[딥러닝, NLP] RNN, LSTM, GRU

RNN(Recurrent Neural Network) 입력층 -> 은닉층 -> 출력층의 구조만을 갖는 신경망을 피드 포워드 신경망이라고 합니다. 반면 순환 신경망(RNN)은 은닉층에서 나온 값을 출력층으로 보내면서 동시에 다시 은닉층 노드의 결과값을 다음 계산을 위한 입력으로 보내는 구조를 갖고 있습니다.RNN 구조 왼쪽과 오른쪽 모두 RNN 구조를 표현한 그림입니다. 오른쪽 그림을 기준으로 3번째 셀(연두색 네모)는 이전 x2에 의한 결과값과 새로운 input인 x3를 함께 받아 y3의 출력값을 내놓게 됩니다. 즉, RNN은 t 시점에서 x_t의 입력값에 대한 출력값 y_t를 계산할 때, 이전 시점(t-1)에 대한 결과값을 함께 입력값으로 받아 반영하게 됩니다. 이러한 구조를 갖는 이유는 자연어, 시계..