Evaluation metrics for Classification

confusion matrix, classification report 등을 그려 보시고, 각 평가지표들에 대해 최대한 분석하고 무엇이 부족한지 어떤 방향으로 성능을 높여야 할 지 논의해 보세요.

분류 문제의 평가 지표

• accuracy(정확도)
• f1_score
• precision(정밀도)
• recall(재현율 ; sensitivity)
• ROC curve 및 AUC score

1. accuracy(정확도)

2. f1_score

3. precision 및 recall - classification_report

• train set

• val set

4. confusion matrix

• train set

• val set

5. ROC curve 및 AUC

• train set

• val set

---

1. train set vs val set

• 당연한 결과겠지만, 여러지표에서 train set과 val set에 대한 결과가 많이 차이나는 것을 확인하였습니다.
• 또한 train set을 통해 과적합 시, 평가지표가 어떻게 나오고 ROC curve가 어떻게 그려지는지 확인해볼 수 있었습니다.

2. 우리가 더 중요시 여겨야 할 값 : FP(precision)

• 문제 : 백신을 맞을까 안맞을까?
• '예상 : 백신을 안맞을 것, 실제 : 백신을 맞음 -> FN'보다
  '예상 : 백신을 맞을 것, 실제 : 백신을 안맞음 -> FP'가 더 치명적인 문제이므로 precision에 초점을 맞춰서 봐야할 것 같습니다.

3. train set에서 True 값들 비교

• 백신을 맞음(1) : 66 + 7978 = 8044
• 백신을 안맞음(0) : 25636 + 43 = 25679
• 8044 / 25679 * 100 = 31.33(%) 즉, 백신을 맞은 사람의 데이터가 안맞은 사람의 데이터보다 다소 많은 경향이 있습니다.
• 따라서 accuracy만으로 판단해서는 안되고(기준모델이 90%라고 해서 성능이 좋은 게 아니듯) 다른 지표들도 함께 보고 데이터에 대한 가중을 다르게 해야할 것 같습니다.

모델은 ordinalencoder, simpleImputer, randomforestclassifier로 기본 세팅으로 했습니다.

이상입니다. 감사합니다.