[TIL]29.RandomForest(랜덤포레스트)

목표

• RandomForest에 대한 이해
• Ordinal encoding(순서형 인코딩)과 OneHot encoding(원핫 인코딩)을 구분하여 사용
• 범주형 변수의 인코딩 방법이 트리모델과 선형회귀 모델에 주는 영향에 대해 이해

들어가기 전
데이터가 선형/비선형 상관없이 분류문제에 접글할 때 랜덤포레스트를 먼저 적용해보는 것을 추천

• 결정트리모델 : 한개의 트리만 사용하기 때문에 한 노드에서 생긴 에러가 하부 노드에서도 계속 영향을 줍니다. 또한, 트리의 깊이에 따라 과적합되는 경향이 있습니다. 이 부분을 랜덤포레스트를 통해 해결

팁

%%time # 셀 실행하는데 걸리는 시간 보여줌

RandomForest(랜덤포레스트)

• 랜덤포레스트는 Ensemble(앙상블) 방법

• 앙상블 방법은 한 종류의 데이터로 여러 머신러닝 학습모델(기본모델, weak base learner)을 만들어 그 모델들의 예측결과를 평균값(회귀문제) 또는 최빈값(분류문제)을 내어 예측하는 방법. 이론적으로 몇가지 조건을 충족하는 여러 종류의 모델을 사용할 수 있습니다.
• 랜덤포레스트는 결정트리를 기본모델로 사용하는 앙상블 방법
• 결정트리들은 독립적으로 만들어지며 각각 랜덤으로 예측하는 성능보다 좋을 경우, 랜덤포레스트는 결정트리보다 성능이 좋습니다.

Bagging(Bootstrap Aggregating)

Bootstrap sampling(부트스트랩 샘플링)

• 앙상블에 사용하는 기본 모델들은 부트스트래핑이라는 샘플링 과정을 통해 얻은 부트스트랩 set을 통해 학습하게 됩니다.(원본 데이터에서 복원 추출을 진행하는 것)

$$부트스트랩 세트의 크기가 n이라 할 때, 한 번의 추출과정에서 한 샘플이 추출되지 않을 확률 = \displaystyle \frac {n-1}{n}$$

$$n회의 복원추출을 진행, 그 샘플이 추출되지 않을 확률 = \displaystyle \left({\frac {n-1}{n}}\right)^{n}$$

n을 무한히 크게 했을 때,

$$\displaystyle \lim_{{n\to \infty }}\left({1 - \frac {1}{n}}\right)^{n} = e^{-1} = 0.368$$

$$참고: \displaystyle e = \lim_{{n\to \infty }}\left(1+{\frac {1}{n}}\right)^{n}$$

즉, 데이터가 충분히 크다는 가정 하에, 부트스트랩 세트는 표본의 약 63.2%에 해당하는 샘플을 가집니다.
여기서 추출되지 않은 36.8%의 샘플이 Out-Of-Bag(OOB) 샘플이며 이 데이터를 val set으로 하여 모델을 검증하는데 사용하는 oob_score가 있습니다.(데이터 수가 굉장히 적어, train set에서 따로 val set을 가져오기 어려울 때 oob를 사용하기도 합니다.)

pipe.named_steps['randomforestclassifier'].oob_score_ # 이런 식으로 사용하며, accuracy 기반의 score 입니다.

Aggregation(기본모델; weak learner 을 합치는 것)

• 부트스트랩 세트로 만들어진 기본모들델을 합치는 과정(회귀문제 : '평균값', 분류문제 : '최빈값'(다수결))
• 랜덤포레스트는 기본모델들의 트리를 만들 때 무작위로 선택한 특성세트를 사용결정트리에서 분할을 위한 특성을 선택 시, 모든 특성(n개)를 고려하여 최적의 특성을 고르고 분할
  랜덤포레스트에서는 특성 n개 중 k개의 특성을 선택(sampling)하고 이 k개의 특성 내에서 분할을 실시합니다.

$$k = log_2(n)$$

Ordinal Encoder(순서형 인코더)

• 범주형 자료를 갖는 특성에 숫자를 맵핑합니다.(즉, 순서를 부여하게 됩니다.) 어떤 특성에 ['a','b','c']의 범주가 있을 때, 이 범주를 [1, 2, 3] 이런식으로 대소비교가 가능한 숫자로 인코딩합니다.
• 원핫인코딩과의 차이 : 트리구조에서는 원핫인코딩을 사용하면 문제가 발생할 수 있습니다.

트리구조에서는 중요한 특성에 대해 상위노드에서 먼저 분할이 일어납니다. 해서 중요한 특성이 범주 종류가 많은(high cardinality) 경우, 원핫인코딩으로 인해 상위노드에서 선택될 기회가 적어집니다. 결과적으로 원핫인코딩 영향을 안받는 수치형 특성이 상대적으로 상위노드를 차지할 기회가 높아지고 그렇게 되면 전체적인 성능 저하로 이어질 수 있습니다.

• 범주에 숫자를 부여하여 '순서' 개념이 생겨도 트리 모델에서는 문제가 안됨(어차피 분류를 기반으로 하는 것이기 때문에) 단, 이 부분은 다시 한번 찾아보고 공부해야될듯하다.

• 되려 선형회귀 모델에서는 순서형 인코딩을 하여 '순서'가 부여되면 안되는 범주형 자료에 '순서'가 부여되면 더 악영향을 줄 수 있습니다.
• 만약 범주의 순위를 미리 알고 있다면(도메인 지식, 구글링 등을 통해) mapping 파라미터를 통해 각 범주마다 숫자를 지정해줄 수 있습니다.

RandomForest가 DecisionTree 모델보다 상대적으로 과적합을 피할 수 있는 이유

• 결정트리는 데이터 일부에 과적합하는 경향 존재. 이런 점을 역이용해서 과적합된 트리를 많이 만들고 그 결과를 평균 또는 다수결로 종합한 모델이 랜덤 포레스트입니다. 이런 방법을 사용하면 과적합이 줄어들고 성능이 유지된다고 알려져 있습니다.

랜덤포레스트에서 트리를 랜덤하게 만드는 두가지 절차

1. 랜덤포레스트에 들어가는 트리들은 bagging을 통해 만들어집니다.(복원추출)
2. 각각의 트리는 무작위로 선택된 특성들을 통해 분기를 수행합니다.(특성 k개 에 대해 분기)

RandomForest 알고리즘

S : 전체 트레이닝 셋 -> s : 부트스트랩 데이터 셋
F : 전체 특성 -> f : 선별된 특성 ($log_2 n$)
B : 랜던포레스트 안에 각각의 트리
H : 포레스트 -> h : 트리