[딥러닝]옵티마이저(Optimizer)

Optimizer란

혹시 셰르파라고 아시나요? 셰르파는 티베트언어로, '일로서 등반을 돕는 사람' 이라는 의미로 사용됩니다.
일반적인 우리나라 산이 아닌, 정말 험난한 산을 등반해야한다면 우리는 적당한 길잡이가 필요합니다. 베이스캠프가 어디있는지부터, 하루에 몇키로를 가는 게 좋을지, 구성원에 따라 체력안배는 어떻게 할지 등등을 가이드해줄 사람처럼 말이죠.
등반보단 하산에 좀더 가까운 느낌이지만, 마찬가지로 저희가 경사하강법을 통해 최적점을 찾아가는 과정에서 셰르파의 역할을 하는 것이 옵티마이저와 닮아있다고 생각했습니다.
길잡이마다 조금씩은 다른 조건으로 길을 가르쳐주고, 길잡이에 따라 산을 무사히 등반할 수도 있고 그렇지 못할 수도 있는 것 같습니다.

Optimizer 종류

1. GD(Gradient Descent) : 가장 기본이 되며, 모든 데이터를 이용해 손실 함수 기울기를 계산하여 가중치를 업데이트합니다.
2. SGD(Stochastic Gradient Descent) : 데이터의 양이 늘어남에 따라 시간이 오래 걸리는 GD의 단점을 보완한 방법입니다. Iteration 1번에 데이터 입력값을 1개만 사용하여 가중치를 업데이트합니다.
3. Mini-batch GD : GD와 SGD의 중간단계 방법으로 우리가 설정한 'batch_size=N'개의 데이터 수를 이용하여 가중치를 갱신합니다. 따라서 epoch 당 Iteration == 전체 데이터 수 / batch_size 가 됩니다.
4. Momentum : GD에 관성을 더한 옵티마이저입니다.
   
   V(n)이 현재 속도라고 생각하면, V(n-1)을 과거의 속도라고 생각하시면 편합니다. 간단하게 위의 식을 보면, 첫번째 식의 Gradient f(x)가 0이 되어도 앞의 행인 알파 * V(n-1) 값으로 인해 V(n)은 0이 아니게 되고 그에 따라 가중치가 그만큼 갱신되게 됩니다. (GD에선 Gradient가 0이 되면 V(n)=0이 되고 가중치가 갱신되지 않게 됩니다.)
5. Adagrad : 학습률을 조정하여 성능을 개선하는 옵티마이저 입니다.
   • 모델의 파라미터 별로 다른 학습률을 적용하는 방법
   • 파라미터가 더 자주 업데이트될수록 더 작은 학습률을 사용하고 빈도가 적은 파라미터는 더 큰 학습률을 주어 그 정도를 맞추어줍니다.
6. Adam : 4번 Momentum 과 5번 Adagrad의 장점을 합친 옵티마이저 입니다.
7. NAG(Nesterov Accelerated Gradient) : Momentum과 비슷한 방식의 옵티마이저입니다.
   • 모멘텀 옵티마이저의 경우, 관성을 주기때문에 멈춰야하는 최적점을 넘어가는 경우가 존재하게 됩니다.
   • 이를 방지하기 위해 등장한 게 NAG로, 단순하게 생각하면 관성을 먼저 계산하고 이것을 반영했을 때의 그 자리에서 gradient를 구하고 다음 실제 actual step을 결정합니다.
   • 마치 모멘텀이 아무것도 생각안하고 이전 속도의 영향으로 천진난만하게 진행하는 느낌이라면, NAG는 관성을 받되 앞에 바위가 있는지 물웅덩이가 있는지 어느정도 예상되는 미래를 생각하면서 나아가는 옵티마이저입니다.

감사합니다. :)

---

참고1 : 옵티마이저
참고2 : 모멘텀 옵티마이저
참고3 : 모멘텀과 NAG
참고4 : 케라스 공식문서