[딥러닝]손실 함수

손실 함수란

손실 함수 = 비용 함수(cost function ; cost)

• 입력값(x)를 F(w)라는 모델에 통과시켰을 때 나오는 값은 출력값(y_pred; 예측값)입니다.
• 모델의 최종 목적은 실제값(y_true; 참값, 관측값)에 최대한 가까운 예측값을 얻는 것입니다.
• 이 때, 예측값과 실제값의 차이를 확인하는 함수가 손실함수 입니다.
• 다시 말해, 우리가 설계한 모델이 입력값을 토대로 얼마나 잘 맞추었는지를 나타내는 지표라고 할 수 있습니다.
• 운동에는 운동마다 다른 규칙이 적용되듯, 우리가 설계한 모델(정확히는 우리가 풀고자 하는 문제의 종류)에 따라 다양한 손실함수를 사용합니다.

손실 함수의 종류

우리가 다루게 될 문제는 크게 3가지로 나눌 수 있습니다. 1) 회귀, 2) 이진 분류, 3) 다중 분류 가 대표적인 문제 종류입니다.
또한, 문제의 종류에 따라 우리는 적절한 손실 함수를 선택해야합니다.

1. 회귀

회귀는 우리가 연속적인 값을 예측하고자 하는 경우입니다. ex) 부동산 가격이 얼마일지 예측, 신생아의 키/몸무게 예측 등

• MSE(Mean Squared Error; 평균 제곱 오차)
  
  
  • 가장 많이 사용되는 손실 함수 중 하나로 예측값과 실제값 사이의 차이를 제곱하여 평균을 낸 값입니다.
  • 차이가 커질수록 제곱 연산에 의해 그 값이 더 뚜렷해지게 됩니다.(다른 시각에서 보면 이상치 또한 더 커지기 때문에 단점이 되기도 합니다.)
  • MAE(평균 절대 오차)와 다르게 최적값에 가까워질수록 그 변화량이 달라지기 때문에, 최적값에 수렴하기 더 용이합니다.

(왼쪽 : MAE, 오른쪽 : MSE)

• RMSE(Root Mean Squared Error; 평균 제곱근 오차)
  
  
  • MSE에 제곱근을 취한 지표로 전반적인 장단점은 MSE와 유사합니다.
  • MSE에서 제곱을 하여 발생하는 데이터의 왜곡을 보완할 수 있습니다.
  • 또한, 제곱 후 제곱근을 취해줌으로써 오류값의 단위가 실제값의 단위와 같아지기 때문에 직관적으로 오류를 해석할 수 있습니다.

2. 이진 분류

이진 분류는 말그대로 우리가 예측하려는 결과가 '모 아니면 도' 즉, 0과 1의 두가지로 구분될 때의 문제 유형입니다.
ex) 비가 올까/안올까, 부동산 가격이 상승할까/하락할까 등

Cross Entropy의 간단한 개념

실제 분포 q(실제값)에 대해서 알지 못하는 상태에서, 우리가 만든 모델을 통해 얻은 분포 p(예측값)으로 이루어진 개념입니다.
앞선 손실 함수들처럼 Entropy 또한 값이 낮아야 예측값이 실제값에 가깝다고 볼 수 있습니다.

• Binary Cross Entropy(BCE)
  
  
  
  복잡해보일 수 있지만 최대한 간단하게 설명해보겠습니다. (y는 실제값, y^은 예측값)
  • y=1인 경우(실제값이 1), BCE = -log(y^)이므로, -log 그래프를 생각해보시면 0과 1 사이에서 y^이 증가할수록 BCE은 0과 가까워집니다.(즉, 실제값이 1일 때, y^의 값이 커지면 손실함수는 0에 수렴-> 손실함수가 작아야 예측을 잘했다는 의미)
  • y=0인 경우(실제값이 0), BCE = -log(1-y^)이므로, 위와 반대로 y^이 증가할수록(1에 가까워질수록) 1-y^은 작아지게 되고 BCE값은 커지게 됩니다.(즉, 실제값이 0일 때, y^의 값이 커지면 손실함수는 점점 커짐-> 손실함수가 커지는 것이므로 예측값과 실제값이 다르다는 의미)

위와 같은 과정으로 BCE 함수를 통해, 예측값이 실제값을 잘 맞추었는지 알 수 있습니다.

3. 다중 분류

• Categorical Cross Entropy(CCE)
  
  
  • BCE는 이진 분류(0과 1) 이라면 CCE는 세가지 이상의 분류 문제에 적용되는 손실함수입니다.
  • 타겟값이 one-hot 형태로 제공될 때 사용됩니다.
  • 여기서 굳이 one-hot으로 제공된다는 느낌보단, 위의 이진분류 때 0과 1 로 주어졌을 때 함수가 2개로 적용되는 것처럼, 마찬가지로 BCE의 연장선에서 분류 클래스만 늘었기 때문에 클래스가 0과 1로 주어졌을 때 사용한다고 이해하시면 좀더 편할 것 같습니다.
  • 타겟값이 one-hot 방식이므로 샘플이 동시에 여러개의 class에 속할 때도 사용할 수 있습니다.
• Sparse Categorical Cross Entropy(SCCE)
  • CCE와 개념은 동일합니다.
  • 다만, 타겟값이 0과 1로 이루어진 게 아닌, 정수로 주어졌을 때 사용하게 됩니다.
  • 3가지의 클래스가 있을 때, CCE는 (1, 0, 0)/(0, 1, 0)/(0, 0, 1)로 표현되는 반면 SCCE는 0/1/2로 표현됩니다.
  • SCCE는 딱 정확한 정수로 표현되므로 샘플이 명확히 하나의 class에 속할 때 사용합니다.

추가) SVM loss라고도 불리는 Hinge loss에 대해 간단하게 읽어보시면 좋을 것 같아 링크 첨부하겠습니다. :)
SVM Loss(Hinge Loss)

이상입니다. 읽어주셔서 감사합니다!

참고1 : Loss function
참고2 : Binary Cross Entropy
참고3 : CCE, SCCE, Multi-hot SCCE
참고4 : CCE vs SCCE
참고5 : 공식문서 갓