[딥러닝, NLP] RNN, LSTM, GRU

RNN(Recurrent Neural Network)

• 입력층 -> 은닉층 -> 출력층의 구조만을 갖는 신경망을 피드 포워드 신경망이라고 합니다.
• 반면 순환 신경망(RNN)은 은닉층에서 나온 값을 출력층으로 보내면서 동시에 다시 은닉층 노드의 결과값을 다음 계산을 위한 입력으로 보내는 구조를 갖고 있습니다.

  RNN 구조

• 왼쪽과 오른쪽 모두 RNN 구조를 표현한 그림입니다.
• 오른쪽 그림을 기준으로 3번째 셀(연두색 네모)는 이전 x2에 의한 결과값과 새로운 input인 x3를 함께 받아 y3의 출력값을 내놓게 됩니다.
• 즉, RNN은 t 시점에서 x_t의 입력값에 대한 출력값 y_t를 계산할 때, 이전 시점(t-1)에 대한 결과값을 함께 입력값으로 받아 반영하게 됩니다.
• 이러한 구조를 갖는 이유는 자연어, 시계열 데이터와 같은 연속형 데이터(Sequential data)는 이전 데이터에 따라 예측값이 달라지기때문입니다.

RNN의 단점

1. 병렬화 처리 불가능에 따른 연산 속도 저하

   • t 시점의 값을 계산하기 위해서 t-1 시점의 값이 계산되어야하듯, 즉 RNN은 하나의 layer를 계산하기 위해서 t만큼의 step이 순차적으로 계산되어야합니다.

2. 기울기 소실(Vanishing) 혹은 폭발(Exploding)

   • time step이 커질수록 (입력 sequence의 길이가 길어질수록) 역전파 과정에서의 gradient(기울기)값이 아주 이전 time step에 대해서는 거의 0에 가까운 값으로 수렴하게 됩니다.
   • 예를 들어, time step이 256인 경우 t = 250인 층에서의 값을 계산할 때 250부터 1까지 다시 되돌아가는 경우 가중치 조정을 위한 기울기 값은 거의 0에 수렴하게 됩니다.(1보다 작은 값들이 계속해서 곱해지는 과정으로)

LSTM 과 GRU

• LSTM(Long Short Term Memory) : 기존 RNN의 기울기 소실 문제를 해결하기 위해 등장한 방법으로, 이전 정보를 얼마나 유지할 것인지를 결정하는 단계와 활성화 함수를 사용하지 않음으로써 정보 손실을 일으키지 않는 cell-state를 추가한 방법입니다.
• GRU(Gated Recurrent Unit) : RNN에서의 기울기 소실 문제(장기 의존성 문제)를 해결했던 LSTM의 장점은 유지하되, 은닉 상태를 업데이트하는 계산을 줄임으로써 성능은 유지하고 구조를 간단화한 방법입니다.