[TIL] 79. 인코더-디코더, Attention

인코더-디코더

• RNN의 다대일(many to one) 구조는 주로 분류 문제에 사용됩니다.(문장이 들어오면 긍정인지 부정인 판단하는 감성분석 등)
• 다대다(many to many) 구조는 주로 개체명 인식, 품사 태깅과 같은 문제를 풀게됩니다.
• 인코더-디코더의 구조는 하나의 RNN을 인코더, 또 다른 하나의 RNN을 디코더로 두는 구조 두개의 RNN을 연결해서 사용합니다.
• 인코더-디코더 구조는 주로 입렵 문장과 출력 문장의 길이가 다를 때 사용합니다.
• 대표적으로 번역기, 텍스트 요약 등이 있습니다.

seq2seq(Sequence to Sequence)

• 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델
• 챗봇, 기계 번역 등 다양한 분야에서 활용되고 있습니다.
• 입력 시퀀스를 질문, 출력 시퀀스를 대답 으로 구성하면 챗봇/ 입력을 입력 문장, 출력을 번역 문장으로 하면 번역기가 됩니다.

위와 같은 구성을 이루고 있습니다. 인코더는 입력 문장의 모든 단어들을 순차적으로 입력받은 뒤 마지막에 하나의 벡터로 압축하게 되는데, 이 벡터를 컨텍스트 벡터(context vector)라고 합니다.
이 후 이 컨텍스트 벡터를 디코더로 전송합니다. 디코더는 컨텍스트 벡터를 받아 번역된 단어를 한개씩 순차적으로 출력합니다.

컨텍스트 벡터는 인코더 RNN 셀의 마지막 시점의 은닉 상태입니다. 디코더 초기 입력으로 이 은닉 상태값과 sos(start of sequence)라는 입력값을 받아 첫번째 단어를 출력하게 됩니다. 다음 셀은 이 예측값과 컨텍스트 벡터를 함께 받아 그 다음 단어를 예측하게 됩니다. 이 행위는 문장의 끝을 의미하는 eos(end of sequence)가 올 때까지 반복됩니다.
중요하게 기억할 것은 지금 위의 과정은 seq2seq 모델의 테스트 과정이라는 점입니다.
학습 과정에서는 디코더를 학습할 때, 인코더의 컨텍스트 벡터와 실제 정답 상황인 sos ~ 문장을 입력 받았을 때, ~ eos가 나와야 한다고 정답을 알려주면서 훈련합니다.

Attention 메커니즘

위의 seq2seq 모델은 인코더에서 입력 시퀀스를 하나의 고정된 크기의 컨텍스트 벡터로 변환, 디코더는 이 컨텍스트 벡터를 통해 출력 시퀀스를 만들어냈습니다.

seq2seq의 단점

• 하나의 고정된 크기의 벡터(컨텍스트 벡터 ; 마지막 셀의 히든 스테이트)에 모든 정보를 압축하려다 보니 정보 손실 발생
• RNN의 고질적인 문제인 기울기 소실문제 존재

Attention 아이디어

• 디코더에서 출력 단어를 예측하는 매 시점(time step)마다 인코더에서의 전체 입력 문장을 참고
• 단, 입력 문장의 토큰들을 전부 동일한 비율로 참고하는 것이 아닌, 해당 시점에서 예측해야할 단어와 연관이 있는 단어 부분을 좀더 집중(Attention)해서 봄

Attention(Q, K, V) = Attention Value

• Q : Query ; t 시점의 디코더 셀에서의 은닉상태(즉, 우리가 알고싶은 값)
• K : Keys ; 모든 시점의 인코더 셀 은닉 상태들
• V : Values ; 모든 시점의 인코더 셀 은닉 상태들

1. 주어진 쿼리에 대해 모든 키와의 유사도를 각각 구합니다.
2. 구해낸 유사도를 키와 맵핑되어있는 각각의 값에 반영
3. 반영된 값을 모두 더해서 리턴 -> 리턴한 값을 어텐션 값

즉, Attention을 이용하게 되면 각 인코더의 time step 에서의 히든 스테이트값이 key와 value로 작동하게 되고 디코더의 각 time step 마다의 히든 스테이트를 query로 하여 각각을 매칭 시켜 점수가 더 높은 단어에 가중치를 주는 방식입니다.

출처 및 참고
Wikidocs : 딥러닝을 이용한 자연어 처리 입문