[TIL]45.3_Section2_sprint3_개인복습(주말)

데이터 실무 프로세스

1. 비즈니스 문제 발견
2. 데이터 발견 및 문제 발견
3. 데이터 문제 해결
4. 비즈니스 문제 해결

데이터 누수(Data Leakage)

1. 타겟 외에, 예측 시점 때 사용 혹은 알 수 없는 데이터가 포함된 경우
2. 훈련데이터와 검증데이터를 완전히 분리하지 못한 경우(검증시 누수 발생)

회귀문제 타겟 분포

• right skewed : log 변환
• left skewed : exp 변환
• 현실 데이터는 대부분이 right skewed 이다.

데이터 wrangling

• merge와 groupby 가지고 놀 수 있게 잘 사용하자

특성 중요도 계산 방법

1. Tree 기반에서 주어지는 MDI(불순도 감소 기준) importances
2. Drop column importance
3. Permutation importance

부스팅

• 하이퍼파라미터에 민감, 그만큼 좋은 성능을 낼 가능성도 높음
• 배깅 : 모델의 과적합을 방지하고 싶을 때
• 부스팅 : 모델의 성능(점수)를 올리고 싶을 때

부스팅에 있는 'early_stopping' 기억
(searchCV로 어느정도 파라미터 찾고, 그 다음 estimator 줄여나가면 될듯)

위의 특성 중요도는 특성이 주는 영향만 알 수 있었다.

1. PDP : 특성이 '어떻게' 영향을 주는지(타겟에 대해)
2. SHAP : 각 관측치에서 갖는 특성 값들 각각이 어떻게 영향을 주었는지