[TIL]78. 순환 신경망(RNN)

키워드

• 순환 신경망(Recurrent Neural Network ; RNN)
• LSTM
• GRU
• Attention

언어 모델(Language Model)

• 문장과 같은 단어 시퀀스에서 각 단어(토큰)의 확률을 계산하는 모델
• Word2Vec도 그 예시 중 하나

통계적 언어 모델(Statistical Language Model, SLM)

• 신경망 언어 모델 이전 방식으로 단어의 등장 횟수를 바탕으로 조건부 확률을 계산
• 한계점 : 횟수 기반으로 확률을 계산하기에 희소성(Sparsity) 문제 존재
  • 희소성 문제 : 학습 데이터에 없는 단어는 만들어낼 수 없는 문제

신경망 언어 모델(Neural Language Model, NLM)

• 횟수 기반이 아닌 Word2Vec 혹은 fastText 등의 출력값인 임베딩 벡터를 사용
• 말뭉치에 등장하지 않더라도 의미적, 문법적으로 유사한 단어라면 만들어낼 수 있음

순환 신경망(Recurrent Neural Network ; RNN)

• 연속형 데이터를 처리하기 위해 등장
• 연속형 데이터 : 순서에 따라 의미가 달라지는 데이터 ex) 자연어, 시계열 데이터 등

RNN의 구조

1. 입력 벡터가 은닉층에 들어가는 부분
2. 은닉층으로부터 출력 벡터가 생성되는 부분
3. 은닉층에서 나와 다시 은닉층으로 입력되는 부분

• 3번 과정이 순환 신경망에만 있는 과정 -> 출력 벡터가 다시 입력되는 특성(순환)

$h_t = \tanh(h_{t-1}W_h + x_tW_x + b)$

• $h_t$는 해당 시점까지 입력된 벡터 $x_1$에서 $x_t$까지의 정보를 모두 갖고 있음

• 즉, 연속형 데이터가 순서대로 입력될 때 순서 정보를 반영

• 장점
  비교적 모델이 간단, 이론상 모든 길이의 sequential 데이터라도 처리 가능

• 단점
  벡터가 순차적으로 입력된다는 점 -> 병렬화 불가능(즉, GPU 연산의 장점인 병렬연산을 이용하지 못함)
  기울기 소실 및 폭발 문제 -> 순차적으로 들어오는만큼, 역전파 진행 시 처음 들어온 시퀀스 앞쪽 벡터에는 전달이 거의 안됨

LSTM(Long Short Term Memory ; 장단기기억망)

• RNN의 기울기 소실을 해결하기 위해 등장한 방법
• 기울기 정보의 크기를 조절하기 위한 Gate를 추가한 모델
• Vanilla RNN은 거의 사용 안할 정도로, LSTM이 대표적인 RNN 기반 모델

LSTM 구조

1. Forget Gate : 과거 정보를 얼마나 유지할지
2. Input Gate : 새로 입력된 정보는 얼마나 활용할지
3. Output Gate : 위 두개의 정보를 계산하여 얼마나 출력할지

• 기존 RNN의 hidden-state가 아닌, 활성화 함수를 직접 거지치지 않는 cell-state 추가
• 역전파 과정에 활성화 함수가 없어, 비교적 정보 손실이 없음
• 즉, 후반 시퀀스 정보의 비중을 결정 및 동시에 전반 시퀀스 정보를 비교적 보존

GRU(Gated Recurrent Unit)

• LSTM의 구조를 간소화한 모델

• cell-state를 없애고 다시 hidden-state 하나로 통일
• gate $z_t$로 Forget 및 Input gate를 동시에 제어
• $z_t$가 1일 때, forget gate가 열리고, input gate가 닫히는 효과(스위치 같은 역할)
• output gate 또한 없어짐 : 대신 $h_{t-1}$ 의 출력에 관여하는 $r_t$ gate 추가