[TIL]32.Section2 Sprint2 Chall(Sprint2 키워드 중심 정리)

앞으로는 스프린트 챌린지 이후 wrap up 내용을 요약하려 합니다.

트리모델

• 선형모델보다 스케일링에 비교적 덜 민감하고 적용 전 여러 가정에 비교적 자유로움(타당성을 위한 가정을 둘 게 별로 없다.)
• 과적합되기 쉽다.(단, 어느정도 과적합이 통제가 된다면 아예 학습이 안되는 경우보단 낫다.)
• 사실 오히려 발전한 모델일수록 학습을 너무 잘해서 과적합되기 쉽다.

트리에서의 비용함수

• 불순도(Impurity) : 지니불순도, 엔트로피 / Information gain에 대한 개념!

트리모델의 노드에서의 순간 순간은 최적인데 트리 전체를 놓고 볼 때는 최적이 아닐 수 있다. -> 생각해볼 문제

파이프라인

• 특징 : 간결함, 전처리와 모델링을 이어서 생각할 수 있음, 협업 시에도 중요

특성 중요도

• 특성이 노드에 개입한 정도에 따라 얼마나 중요한지

결정트리는 특성 상호작용(다중공선성)에 민감하지 않다.

결정트리회귀 -> 각 노드에서 mse를 제일 작게하는 샘플들의 타겟 평균값

랜덤포레스트

• 트리 여러개를 모아서 만든 모델
• 단일트리모델에 비해서 과적합을 방지(일반화하기 더 좋다.)

Bagging 과정이 어떻게 과적합을 방지할 수 있는가?

• Out Of Bag samples : 부트스트랩 샘플링 중 안뽑힌 샘플들, 따로 검증 set을 두기 어려울 때, oob_score_ 사용

Ordinal Encoding

• 범주형에 순서형 숫자를 부여
• 트리모델은 명목형 특성에(순서가 있으면 안되는) 순서가 부여되어도 크게 문제가 없다.(알고리즘 자체가 분할해나아가는 방식이라)
  Q. 다만 하이퍼파라미터 조정 등을 통해 노드가 제한된다면, 순서에 부여된 잘못된 경향성이 영향을 줄 수 있지 않을까?

앙상블트리모델(랜덤포레스트)이 단일트리모델보다 상대적으로 과적합을 피할 수 있는 이유?

• 랜덤포레스트의 랜덤성
  1. 부트스트랩 샘플링 시 데이터를 복원 추출
  2. 각각 트리는 무작위로 선택된 특성들만 이용하여 분기

Confusion Matrix

• 클래스들의 label이 불균일할 때 Precision(정밀도), Recall(재현율 ; sensitivity) 등에 적절한 가중치를 줘서 생각해야한다.
  ex) 암에 걸렸는지 예측하는 경우, 실제로 암에 안걸린 사람들의 데이터가 걸린 사람들보다 훨씬 많을테니 FP가 상대적으로 FN보다 많을수 밖에 없음

ROC curve, AUC

• threshold(임계값) 정할 때 유용하다.
• Curve를 그려서 꼭 threshold를 찾는 곳에 사용하는 것은 아니다!
• y축이 tpr, x축이 fpr인 점 다시 한번 유의

Model Selection

• 기본 모델 알고리즘이 같아도, 하이퍼파라미터가 다른 경우, 서로 다른 모델이다.

Cross Validation

• 교차 검증

GridSearchCV, RandomizedSearchCV