HyperParameter tuning

GridSearchCV 를 사용하여 하이퍼파라미터 튜닝을 진행합니다.

• 모델 성능을 높이기 위해 가능한 시도를 다 해보세요.
• 모델 성능 개선에 가장 큰 영향을 준 특성공학이나 하이퍼파라미터 튜닝에 대해서 왜 성능 개선에 큰 영향을 주었는지 설명해 보시고 서로의 결과에 대해 공유하고 토론해 보세요.

---

1. Ordinal Encoder 사용

1-1. RandomizedSearchCV : GridSearchCV를 하기 전 적당한 범위를 찾기 위해 실행하였습니다.

• cross_val_score를 통해 cv = 5로 선정하였습니다.
  

• 하이퍼파라미터 조정

위의 결과에서 대략적으로 GridSearchCV에 넣어줄 숫자를 생각해 볼 수 있습니다.

1-2. GridSearchCV : 위의 값을 기준으로 약간의 차이를 주며 최적의 파라미터를 찾습니다.
(자세한 수치 조정은 생략하겠습니다.)

첫번째 결과

두번째 결과

세번째 결과

점수보단 제가 모델을 학습시키고 하이퍼파라미터를 조정하는 과정을 담아보았습니다.

추가

2. Target Encoder 사용

아래와 같이 기존 Ordinal Encoder에서 범주마다의 타겟값을 반영한 평균치로 명목형 데이터를 대체하는 Target Encoder를 사용해보았습니다.

3. Cat Boost Encdoer 사용

이전 도전과제에서 적용해보았던 CatBoostEncoder를 사용해보았습니다.

당연한 결과겠지만, Encoder를 바꾸기만 해도 최적의 파라미터값이 달라지는 것을 확인할 수 있었습니다.

Kaggle 점수 기준으로 처음 OrdinalEncoder를 통해 학습한 모델이 결론적으로는 더 높은 점수가 나왔습니다. 이를 통해서, 더 성능이 좋을 거라 생각한 encoder를 사용한 모델이 늘 퍼포먼스가 더 좋지는 않다는 것을 알 수 있었습니다.(물론 인코더를 변경 후 더 많은 파라미터 조정을 하면 더 좋은 결과값이 나올 수 있을 것 같습니다.) 또한, 먼저 배운 Ordinal Encoder를 염두에 두고 특성공학을 진행했기에 이런 결과가 나온 것도 같습니다. 적용하려는 분류기 내의 인코더, 임퓨터, 학습 모델 알고리즘 등도 고려해서 특성공학에 더 시간을 쏟는 과정도 진행해봐야겠습니다.
개인적으로 모델 학습 과정에서 하이퍼파라미터 조정은 톱니바퀴를 연결하듯 특정 파라미터 하나가 바뀌면 다른 파라미터도 그에 맞게 다시 조정이 되는 것을 알 수 있었습니다. 그런 조정과정의 여러 조합들 중 가장 퍼포먼스를 좋게 나타내는 조합으로 수렴하는구나도 배울 수 있었습니다.

이상입니다. 감사합니다. :)