Boosting(vs bagging)

1. 특성 중요도를 계산하는 방법의 장단점을 설명하고 각각 어떤 상황에 사용하면 좋을지 설명해 보세요.

여기로

---

2. bagging과 boosting의 차이점과 각각 어떤 알고리즘 종류들이 있는지 알고리즘별 장단점을 설명하고, 어떤 상황에서 사용하면 좋을지 논의해 보세요.

0. bagging vs boosting의 차이

• 배깅 : 병렬 학습, 각각의 트리들이 독립적
• 부스팅 : 순차 학습(직렬), 뒤의 트리가 이전 트리의 영향을 받음(종속)
  • 오답에 대해서 더 높은 가중치를 부여함으로 써 오답에 더 집중합니다.
  • 그만큼 배깅에 비해 error가 적고 성능이 좋습니다. 다만, 오답에 더 집중하는 방법으로 오버 피팅될 가능성이 높습니다.

단순하게 생각할 수는 없지만, 일반적으로

• 개별 결정 트리(기본모델)의 성능이 낮다면 -> 부스팅이 적합
• 개별 결정 트리(기본모델)의 성능이 적절하고 과적합이 문제라면 -> 배깅이 적합
  합니다.

1. boosting 개념

• 단일 모델을 순차적으로 활용, 샘플1 중에서 잘 분류하지 못한 데이터에 가중치를 부여하여 샘플2로 넘깁니다. 이 때, 샘플1에서
  복원추출로 선택되지 못한 데이터 또한 가중치가 부여되어 샘플2에 보내집니다.
• 즉, 분류가 잘 안된 데이터에 가중치를 주며 학습하는 방식으로 마지막에 학습된 모델뿐 아니라 이전까지 학습된 모든 모델들을
  고려해서 평가합니다.

2. boosting 종류

• Adaptive Boosting(Adaboost)

  

  • 위의 부스팅의 기본개념(선택되지 않은 데이터에 가중치 부여)를 가져가면서 동시에 개별 모델에도 별도로 가중치를 주는 개념이 추가된 방식입니다.

  • 아래 사진과 같이 (2)번식에서 이후 추가된 개별모형에 대해 개별적인 가중치가 곱해지는 것을 볼 수 있습니다.

    

• Gradient Boosting(GBM ; M은 Model)

  • 예측에 대한 loss function에 미분을 통해 gradient를 구합니다.(잔차) 이 값을 전달하여 오차를 줄이는 학습 방식입니다.
  • 성능은 전반적으로 괜찮지만 과적합이 잘되고 속도가 다소 느리다는 단점이 있습니다.
  • 아래의 모델들은 이런 GBM의 단점을 보완한 모델들로 자주 사용하는 모델들입니다.

• eXtreme Gradient Boosting(XGBoost)

  • 병렬처리를 통한 빠른 학습, 유연한 learning system, overfitting 방지, 다양한 시나리오에 대한 확장성

• LightGBM

  • XGBoost의 효율성 문제를 보완하여 등장한 알고리즘입니다.
  • 기존 효율성 정확도의 trade-off를 해결했다는 점이 큰 장점이며, 기존 알고리즘의 정확도를 유지하면서 훨씬 좋은 효율성을 가지고 있습니다.
  • 데이터셋이 많지 않을 경우, LightGBM이 더 과적합 발생이 쉽다는 단점이 있습니다.

• Categorical Boosting(Catboost)

  • 상대적으로 최근에 구현된 알고리즘으로 범주형 변수를 처리하는데 유용한 알고리즘입니다.

bagging과 boosting은 이해했는데, 부스팅 내에서 여러 모델의 정확한 차이를 알고싶어 정리를 시작했습니다. 다만, XGB, LightGBM, CatB 내용이 생각보다 만만치 않아 따로 아래의 참고 내용 보시면 도움되실 것 같습니다.

이상입니다. 감사합니다. :)

더 자세한 내용 참고