Jayden`s

[TIL] 79. 인코더-디코더, Attention

인코더-디코더 RNN의 다대일(many to one) 구조는 주로 분류 문제에 사용됩니다.(문장이 들어오면 긍정인지 부정인 판단하는 감성분석 등) 다대다(many to many) 구조는 주로 개체명 인식, 품사 태깅과 같은 문제를 풀게됩니다. 인코더-디코더의 구조는 하나의 RNN을 인코더, 또 다른 하나의 RNN을 디코더로 두는 구조 두개의 RNN을 연결해서 사용합니다. 인코더-디코더 구조는 주로 입렵 문장과 출력 문장의 길이가 다를 때 사용합니다. 대표적으로 번역기, 텍스트 요약 등이 있습니다. seq2seq(Sequence to Sequence) 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델 챗봇, 기계 번역 등 다양한 분야에서 활용되고 있습니다. 입력 시퀀스를 질문, 출력 시퀀스를 대답 ..

[4673]셀프 넘버

rm_list = [] for i in range(1, 10001): for j in str(i): i += int(j) if i < 10000: rm_list.append(i) tot_list = list(range(1, 10000)) for k in set(rm_list): tot_list.remove(k) for n in tot_list: print(n) 4673 셀프넘버 오... int와 str을 잘쓰면 이렇게 편하구나

[딥러닝, NLP] Transformer(Positional encoding, Attention)

Positional Encoding RNN과 달리 Transformer는 모든 토큰이 한번에 입력되기 때문에 recursive를 통한 단어 간 위치, 순서 정보를 담을 수 없습니다. 그렇기 때문에, 애초에 input 시 토큰의 위치에 대한 정보를 만들어 토큰에 포함시키는 작업을 하게 되는데 이 과정이 Positional Encoding 입니다. Self-Attention Attention : 디코더에서 출력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 참고하는 방법. 이 때, 전체 입력되는 문장의 토큰을 동일한 비중으로 참고하는 것이 아닌, 해당 시점의 예측할 단어와 연관성이 높은 입력 토큰을 더 비중있게 집중(attention)해서 보는 방법입니다. 문장 내에서의 토..

[딥러닝, NLP] RNN, LSTM, GRU

RNN(Recurrent Neural Network) 입력층 -> 은닉층 -> 출력층의 구조만을 갖는 신경망을 피드 포워드 신경망이라고 합니다. 반면 순환 신경망(RNN)은 은닉층에서 나온 값을 출력층으로 보내면서 동시에 다시 은닉층 노드의 결과값을 다음 계산을 위한 입력으로 보내는 구조를 갖고 있습니다.RNN 구조 왼쪽과 오른쪽 모두 RNN 구조를 표현한 그림입니다. 오른쪽 그림을 기준으로 3번째 셀(연두색 네모)는 이전 x2에 의한 결과값과 새로운 input인 x3를 함께 받아 y3의 출력값을 내놓게 됩니다. 즉, RNN은 t 시점에서 x_t의 입력값에 대한 출력값 y_t를 계산할 때, 이전 시점(t-1)에 대한 결과값을 함께 입력값으로 받아 반영하게 됩니다. 이러한 구조를 갖는 이유는 자연어, 시계..

[딥러닝, NLP] 분포 가설, Word2Vec

분포 가설(Distributed Representation) 횟수 기반이 아닌, 단어의 분포를 기반으로 표현하는 분포기반 단어표현의 배경이 되는 가설 비슷한 위치에 등장하는 단어들은 비슷한 의미를 지닌다.는 가설입니다. Word2Vec 말그대로 단어를 벡터화하는 방법 중 하나로 원핫인코딩과는 다른 분산 표현 방법입니다. 원핫인코딩은 단어 벡터의 차원이 단어 집합의 크기가 되며, 해당하지 않는 열에는 전부 0 값으로 희소하다면, Word2Vec은 비교적 저차원에 단어의 의미를 분산하여 표현하게 됩니다. 주변 단어를 input으로 중심 단어를 예측하는 CBoW 방법과 중심 단어를 input으로 주변 단어를 예측하는 Skip-gram 방법이 있습니다.