[TIL]72. 신경망 학습

키워드

• 신경망 학습 메커니즘(순전파, 손실 계산, 역전파)
• 경사 하강법(Gradient Descent ; GD) : 가중치가 갱신되는 과정
• 옵티마이저(Optimizer)의 개념

신경망 학습

1. 데이터 입력 및 신경망 각 층에서 가중치 및 활성화 함수 연산을 수행
2. 모든 층에서 1의 과정을 진행 후 마지막 출력층에서 값을 출력(출력값)
3. 손실 함수를 통해 예측값(prediction)과 실제값(target)의 차이를 계산
4. 경사하강법과 역전파를 통해 각 가중치를 새롭게 갱신
5. 어떤 학습 중지 기준을 만족할 때까지 1-4의 과정을 반복

• Iteration : 1-4의 과정을 말하며 매 Iteration마다 가중치가 갱신됨
• 1번의 Iteration에는 순전파 과정(1-2), 손실계산 과정(3), 역전파 과정(4)으로 크게 3가지의 과정이 있음

순전파(Forward Propagation)

• 신경망의 학습 과정 중 1번째 과정

1. 입력층(혹은 이전의 은닉층)으로부터 신호(값)를 전달받음
2. 입력된 데이터에 가중치-편향 연산(가중합) 수행
3. 2번을 통해 구해진 값에 활성화 함수 처리 후 다음 층으로 전달(최종적으로 출력층에서 출력값까지 출력)

손실 함수(Loss Function) ; 손실 계산

• 출력층을 통해 도출된 출력값(예측값)과 타겟값을 비교하는 함수
• 즉, 값이 작을수록 '예측을 잘 했다'는 의미가 됩니다.
• 문제의 종류에 따라 손실 함수를 잘 정의해주어야 함
• 대표적으로 회귀 -> MSE, 이진 분류 -> categorical_cross_entropy, 다중 분류 -> sparse_categorical_cross_entropy 가 있습니다.

역전파(Back Propagation)

• 말 그대로 순전파와는 반대의 방향으로 손실 함수를 통해 계산된 손실 정보를 전달해주는 과정
• 손실 함수를 통해 얻어진 손실 정보를 다시 뒤로 전달하며 각 가중치를 업데이트
• 매 번의 itertaion마다 손실을 줄이는 방향으로 가중치를 업데이트
• 이렇게 손실을 줄이는 방향으로 가중치를 업데이트하기 위해서 필요한 방법이 경사 하강법

경사 하강법(Gradient Descent)

• 손실 함수 J의 경사(Gradient)가 작아지는 방향으로 업데이트 하면서 손실 함수의 값을 줄일 수 있습니다.
• 매번의 Iteration마다 해당 가중치에서의 비용 함수의 도함수를 계산하여 경사가 점차 작아질 수 있도록 가중치를 변경

• 기울기가 양수일 때는 음의 방향으로, 기울기가 음수일 때는 양의 방향으로 향하게 됩니다.

가중치

• 특정 가중치(θi)에 대한 기울기는 손실 함수를 해당 가중치로 편미분하여 구할 수 있습니다.

• 모든 가중치에 대한 편미분 값은 위와 같은 Chain Rule을 통해 나타낼 수 있습니다.

옵티마이저(Optimizer)

경사하강하는 방법

• 위 표를 보시면, 일반적인 경사하강법(GD)은 모든 입력값에 대한 손실 함수의 기울기를 계산 후 가중치를 업데이트하게 됩니다.
• 그러므로 데이터가 커질수록 굉장히 많은 시간이 필요하게 됩니다.

• 이를 해결하기 위해 고안된 방법이 확률적 경사 하강법(Stochastic Gradient Descent; SGD)으로 Iteration 마다 입력값 1개만 이용하여 가중치를 업데이트하게 됩니다. 아주 빠르지만, 그 방향성이 잘못될 수 있습니다.(빠른데 불안정)
• 그 다음, SGD의 단점을 커버하기 위해 등장한 방법이 미니배치 경사 하강법(Mini-batch Gradient Descent)입니다.
• batch_size(입력 데이터의 수)를 N개로 설정하고 Iteration마다 N개의 데이터를 통해 가중치를 수정합니다.

데이터 수, Batch Size, Iteration, Epoch의 관계

• 데이터 수 : # of Data 로 전체 데이터의 수를 의미합니다
• Batch size : 한 번의 Iteration 동안 다루는 데이터의 수, 주로 2의 배수로 설정합니다.
• Iteration : (순전파, 손실계산, 역전파)의 과정
• Epoch : 모든 데이터를 학습한 횟수

예시) 전체 데이터 수 = 1000, batch_size = 125, epoch = 5 일 때, 전체 Iteration은?
답 : 1번의 epoch에 Iteraion 은 1000/125 == 8 이므로, 8 * 5 == 40 이 나옵니다.