category_encoders(TargetEncoder, CatBoostEncoder) 그리고 Ordinal과 OneHot encoder

1. 수업에서 언급되지 않은 다른 종류의 category_encoders를 2개 이상 사용해 결과를 공유해 보시고, 다음 질문에 대해 서로 논의해 보세요. 사용하신 encoder는 각각 어떤 장단점을 갖고 있으며, 어떤 상황에서 사용하면 좋을까요?

여러 인코더 중 TargetEncoder와 CatBoostEncoder가 가장 흥미가 생겨 적용해보았습니다.

0. OrdinalEncoder(기준)

• 피팅 셀 시간 : 4.27 s

• 정확도 및 f1 score

• 특성 중요도

1. TargetEncoder

• 피팅 셀 시간 : 5.29 s

• 정확도 및 f1 score

• 특성 중요도

2. CatBoostEncoder

• 피팅 셀 시간 : 14.1 s

• 정확도 및 f1 score

• 특성 중요도

---

두 가지의 인코더를 설정한 이유는 자세히는 모르지만, CatBoostEncoder가 TargetEncoder보다 같은 계열의 상위 인코더(?) 같아 CatBoostEncoder 하나를 제대로 보자 라는 마음이었습니다.

CatBoostEncoder를 중심으로 설명을 해보겠습니다.

CatBoostEncoder의 특징

1. Ordered Targeting Encoding

Target Encoding이란

• 범주형 변수를 인코딩시킬 때, target의 값을 고려한 숫자를 인코딩하는 방법입니다. 예시는 아래와 같습니다.

위의 사진에서 cloudy 범주는 각 cloudy 관측치들이 가진 target 값의 평균으로 인코딩이 될 것입니다.

cloudy = (15 +14 +20 + 25)/4 = 18.5

Ordered Target Encoding이란

위의 Target Encoding의 문제는, 특성에 타겟값이 반영되었기 때문에 데이터 누수의 문제가 있습니다. 이로 인해 당연히 오버피팅의 문제를 일으키게 됩니다. 이를 해결하기 위해 '현재 데이터의 인코딩하기 전의 데이터들의 타겟값'을 사용하는 방법이 Ordered Target Encoding 입니다.

- Friday 에는, cloudy = (15+14)/2 = 15.5 로 인코딩 된다.
- Saturday 에는, cloudy = (15+14+20)/3 = 16.3 로 인코딩 된다.

즉, 현재 데이터의 타겟값을 사용하지 않음으로써 데이터 누수를 막고 오버피팅도 막으면서 수치값의 다양성도 부여해주는 방법입니다.

2. Level-wise Tree( vs Leaf-wise Tree)

위의 그림과 같이 Tree model이 분기를 하는 순서에 따라 나누어집니다. max depth의 제한이 없다면 결국엔 최종적으로 두 방법은 같은 모델을 학습하게 됩니다. 다만, max depth가 제한된 상황이라면 Leaf-wise 방법이 좀더 '영리하게' 분기를 시행한다고 보시면 될 것 같습니다.(그저 depth를 늘릴수록 분기하는 게 아닌, 각 노드의 information gain의 정도를 비교하면서 가장 큰 gain을 얻는 노드부터 분기를 하기 때문)

3. Oredered Boosting

Boosting이란 ( vs Bagging)

• Bagging은 '샘플을 여러번 뽑아 각 모델을 학습시켜 결과를 집계(Aggregating)하는 방법입니다.
• Boosting은 좀 더 어려운 문제를 맞추는데 초점이 맞춰져있습니다. Bagging과 동일하게 복원 랜덤 샘플링을 하지만 가중치를 부여한다는 차이점이 있습니다.
• Bagging이 병렬적으로 학습을 하는 반면, Boosting은 순차적으로 학습을 하며 학습이 끝나면 나온 결과에 따라 가중치를 재분배합니다.(데이터의 값의 잔차를 계산하고 그 잔차를 계속 감소시키는 모델을 학습)
• 오답에 대해 높은 가중치, 정답에 대해 낮은 가중치를 부여함으로써 오답에 더 집중할 수 있게 합니다. 그로 인해 정확도가 높다는 장점이 있지만, Outlier에 취약하다는 단점이 있습니다.
• Bagging이 variance를 감소시키는 역할을 한다면, Boosting은 bias를 감소시키는 역할을 합니다.

Ordered Boosting이란

기존 Boosting에서 일괄적으로 모든 train set을 대상으로 잔차를 계산한다면 CatBoost는 일부를 통해 잔차를 계산한 뒤, 이걸 모델로 만들고 그 뒤의 데이터의 잔차는 모델로 예측한 값을 사용하는 방법입니다. 아래와 같습니다.

1. 먼저 x1 의 잔차만 계산하고, 이를 기반으로 모델을 만든다. 그리고 x2 의 잔차를 이 모델로 예측한다.
2. x1, x2 의 잔차를 가지고 모델을 만든다. 이를 기반으로 x3, x4 의 잔차를 모델로 예측한다.
3. x1, x2, x3, x4 를 가지고 모델을 만든다. 이를 기반으로 x5, x6, z7, x8 의 잔차를 모델로 예측한다.
4. ... 반복

4. Random Permutation

• 위의 Ordered Boosting 시, 데이터의 순서를 섞어주는 것을 말합니다. (섞어주지 않으면 매번 같은 순서대로 잔차를 예측하는 모델이 만들어지기 때문)

5. Categorical Feature Combination

예를 들어

위의 경우, country와 hair color 변수 중 하나만 있어도 label을 예측할 수 있습니다. 즉, information gain이 동일한 feature를 하나로 묶어주는 특징이 있습니다.

6. OneHot Encoding

CatBoostEncoder는 범주형 변수에 항상 Target Encoding을 하는 것이 아닙니다. 낮은 Cardinality를 갖는 변수에 대해서는 기본적으로 OneHot 인코딩을 시행합니다. 여기서 이 기준을 정하는 파라미터는 one_hot_max_size 입니다. 3으로 설정하면, cardinality가 3이하인 변수는 OneHot 인코딩을 실시합니다.

7. Optimized Parameter tuning

기본 파라미터의 최적화가 잘되어있어서, 튜닝에 크게 신경쓰지 않아도 된다고 합니다. 대부분 부스팅 모델들이 파라미터를 튜닝하는 이유는, 트리의 다형성과 오버피팅 등의 문제를 해결하기 위함입니다. 그런데 위의 특징들을 보시다시피 내부적인 알고리즘 자체로 이런 문제들을 해결하고 있어 파라미터의 조정이 결과값에 큰 영향을 끼치지 않는다고 합니다.

2. 왜 트리모델에서는 ordinal encoding을 주로 사용하며 (one-hot encoding대신), 범주형 자료를 ordinal encoding으로 사용해도 되는 이유는 무엇이라고 생각하시는지 논의해 보세요

• 일단 기본적으로 OneHot 인코딩의 경우 변수를 늘리는 특징이 있어, 특성 중요도가 높은 특성의 information gain을 분산시키는 효과를 주게 됩니다. 따라서 특성의 특성 중요도를 유지하면서 범주형 변수를 숫자로 바꿔주는 Ordinal 인코딩이 더 적합해보입니다. 이 때, 범주형 변수 중에서도 '순서'개념이 들어가도 되는 경우와 안되는 경우가 있는데, max_depth에 대한 제한이 없다면 문제가 안될 것 같습니다. 왜냐하면, max_depth의 제한이 없다면, 노드들의 분기는 계속 일어날 수 있고 각 노드에서의 분기 조건에 사용되었던 feature도 계속 사용될 수 있기 때문에(information gain만 높다면) 순서이 들어가서 어떤 '경향성'을 갖는 건 문제가 안될 것 같습니다. 다만, max_depth가 제한되는 상황에서는 노드의 분기가 중간에 제한되기 때문에 의도치 않게 생긴 순서로 인한 '경향성'이 유의미한 영향을 끼칠 수 있다고 생각합니다.

위의 적용된 encoder에 따른 score 값의 변화에 대한 분석은 추후 더 공부하여 진행하겠습니다..!

이상입니다. 감사합니다! :)

참고1:CatBoostEncoder
참고2:CatBoostEncoder
참고3:TargetEncoder
참고4:Leaf-wise vs Level-wise
참고5:Bagging vs Boosting
참고6:Bagging vs Boosting