[TIL] 80. Transformer

Transformer

기계 번역을 위한 새로운 모델
Attention 메커니즘을 극대화한 모델
구조적 단어가 순차적으로 들어오는 RNN 모델의 단점을 해결하기 위해 등장한 모델
모든 토큰(단어)를 동시에 입력받아 병렬 처리하기때문에 GPU 연산에 최적화(시간이 빠름)
2017년 구글이 발표한 "Attention is all you need"에서 등장한 모델

• 기존의 seq2seq의 구조인 인코더-디코더 구조를 따르면서 RNN을 사용하지 않고 Attention만으로 구현한 모델

Positional Encoding(위치 인코딩)

RNN과 다르게 순차적으로 토큰을 입력받지 않기 때문에, 토큰의 위치 정보에 대한 벡터를 따로 제공해주는 단계입니다.

Self-Attention(셀프-어텐션) - 인코더에 위치

The animal didn't cross the street because it was too tired

위의 예시에서 컴퓨터는 it과 같은 지시대명사가 문장 내에서 어떤 대상을 가리키는지 알 수 없습니다.
따라서 문장 자체의 문맥을 판단하기 위해 본인과 본인 사이에 Attention 메커니즘을 수행하는 단계입니다.
마찬가지로 쿼리, 키, 벨류가 존재합니다.

• 쿼리 : 분석하고자 하는 단어에 대한 가중치 벡터
• 키 : 문장 내 단어가 쿼리에 해당하는 단어와 얼마나 연관있는지를 비교하기 위한 가중치 벡터
• 벨류 : 각 단어의 의미를 살려주기 위한 가중치 벡터

self-attention에서는 쿼리, 키, 벨류의 출처가 동일합니다.(당연히 본인끼리 attention을 하는 것이기 때문)

Multi-Head Attention

주어진 헤드 수에 따라 임베딩 벡터의 차원을 나누어주고 나눠준 헤드 수만큼 병렬적으로 attention 메커니즘을 적용 후 다시 concat으로 이어붙여주는 병렬화 처리 방법입니다.

Feed Forward Neural Netword(FFNN)

1개의 은닉층(ReLU)와 1개의 출력층으로 구성된 단순한 2층 신경망

Masked Self-Attention - 디코더에 위치

Masked 부분만 의미를 파악하자면, 언어모델에서 디코더가 단어를 생성할 때는 왼쪽 단어(이전 단어)를 보고 다음 단어를 예측하면서 진행됩니다. 하지만 트랜스포머에서는 RNN과 달리 단어가 한번에 입력되기 때문에 어떻게 보면 다음 단어가 미리 주어지게 되는 데이터 누수 현상이 일어납니다.(모든 토큰을 주면서 토큰을 예측하라는 게 말이 안됨)
그렇기 때문에 이를 방지하기 위해 예측해야하는 토큰의 다음 토큰값들을 전부 가려주는 작업을 하게 되는데, 이를 마스킹이라고 합니다.
attention 과정 중 attention score를 낸 부분에서(소프트맥스에 들어가기 전) 마스킹해야하는 스코어를 -(무한대) 해줌으로써 소프트맥스 후 0 값이 나오게 처리해줍니다.

Encoder-Decoder Attention - 디코더에 위치

인코더의 self attention과 유사하지만 q, k, v의 출처가 다릅니다.
쿼리는 디코더에서 Masked Self-Attention으로부터 출력된 벡터를 쿼리로 하고 키와 벨류는 마지막 인코더 블록에서 사용했던 값을 가져와서 사용합니다.

참고 : 딥러닝을 이용한 자연어 처리 입문