Model Interpreting

머신러닝 모델 해석 방법들의 장단점과 각각 어떤 방식으로 활용할 수 있을지 논의해 보세요.

---

0. 모델 해석의 필요성

• 성능이 좋은 모델은 대체로 Black Box Model입니다. (예측이 정확하기 위해선 아무래도 모델 자체가 복잡해지다보니)
• 많은 분야에서 모델을 무조건 신뢰할 수 없습니다. 가령, 영화를 추천하는 시스템에서 영화 추천을 잘못했다고 해서 아주
  큰 일이 나는 것은 아닙니다. 하지만 자율자동차같은 경우, 한번의 판단이 큰 사고로 이어질 수 있으므로 우리는 그 내부의 작동
  원리를 분석하고 연구하여 더 안정성 있는 모델을 만들 필요가 있습니다.
• 의사결정에 직접 영향을 주는 것은 해석입니다. 즉, 모델을 통해 예측에 대한 'score'는 계산할 수 있지만 그 과정을 보고 결정을
  내리는 것은 사람입니다. 우리가 데이터 분석가, 사이언티스트라면 그 결정을 내릴 결정권자(가령 임원진)를 설득하기위해선 모델의
  성능 점수만으로 해내기는 힘들 것입니다. 따라서 우리는 모델이 그 결과를 도출해낸 과정을 이해하고 분석할 필요가 있습니다.
• 드물지만, 우리가 인간이기에 갖고 있던 편견을 깨트릴 가능성이 있습니다. 우리가 신뢰하는 모델을 분석하다보면 몰랐던 지식을
  발견할 수도 있고 고정관념을 바꿔줄 답을 얻을 수도 있습니다.
• 차원의 저주 해결. 앞서 저희가 배운 permutation importance, PDP, SHAP 등 모델을 설명하는 변수를 찾아내어 기여도가 적은
  특성을 제거하고 모델의 성능을 더 올릴 수 있습니다.

1. 모델 해석 방법 분류

• Intrinsic vs Post-hoc

  • Intrinsic : 모델 자체로 해석이 되는 방법입니다. Linear Regression, Logistic Regression과 같이 parameter를 보고 예측 결과를 해석할 수 있는 경우입니다.
  • Post-hoc : 반대로 모델링 결과를 보고 바로 해석하기는 어려운 경우입니다. 즉, 모델링 이후 해석을 위한 새로운 모델링 혹은 알고리즘을 적용해야하기에 말 그대로 '사후검증' 방법입니다.

• Model-specific vs Model-agnostic

  • Specific : 특정 모델에만 적용되는 해석 방법입니다. 저희가 배운 Tree 기반 모델들의 feature importance(MDI ; 불순도 감소 기반)이 그 예시입니다.
  • Agnostic : 다양한 모델에 적용이 가능하며 모델이 학습한 후 적용되는 해석 방법으로 PDP, SHAP과 같은 방법입니다. 주로 모델만의 구조적인 정보를 이용하는 것이 아닌 input / output 을 분석하여 해석을 합니다.

• Local vs Global

  • Local : 각 데이터 포인트, 각 인덱스마다 해석을 진행하는 방법입니다. 해당 데이터의 feature 간 복잡한 관계보다는 선형적 혹은 단조로운 형태를 나타냅니다. 또한, 데이터를 더욱 문맥화하여 해석 가능하기에 정확할 가능성이 높습니다.
  • Global : 전체 데이터를 아울러 해석하는 방법입니다. 대체로 이 데이터에서 어떤 변수가 중요하고, 어떤 종류의 교호작용이 일어나는지에 대한 것 등이 해당됩니다. 전반적으로 크게 이해하기엔 좋지만, 확실한 값을 얻기에 어려움이 있습니다.

2. '모델 해석을 잘했다.'의 기준

• fidelity : 모델의 예측 결과와 이에 대한 해석이 얼마나 급접한지
• consistency : 같은 데이터셋을 학습한 두 모델에 대해, 각각의 해석이 얼마나 다른지. 두 모델이 예측 결과가 높으면서 동시에 해석도 비슷하다면 매우 consistency한 해석이 됩니다.
• stability : 비슷한 사례, 비슷한 인덱스에 대해 해석이 얼마나 비슷한지
• comprehensibility : 해석 방법이 얼마나 사람이 이해하기 좋은지

3. 모델 해석 방법(Feature Importance를 중심으로)

• Gini Importance(Feature Importance as MDI) ; 불순도 기반

  • 장점 : 트리 기반 모델에서 다소 편리하게(?) 사용할 수 있습니다.
  • 단점 : biased하기 쉽습니다. 연속형 변수 혹은 범주 개수가 많은 범주형 변수와 같은 high cardinality 변수들의 중요도를 더욱 부풀려서 나타낼 가능성이 높습니다. 또한, train set을 학습하는 과정에서 얻은 불순도를 기반으로 하기 때문에 test set에선 다른 영향을 줄 가능성이 있습니다. 모델이 과적합될수록 Gini importance는 더 high cardinality 변수에 편향됩니다. 트리기반 모델이 과적합에 가까운 경우 depth와 noode 수 등이 증가함에 따라 범주가 많은 변수가 선택될 가능성이 높아지기때문입니다. 따라서, 어느정도 과적합을 방지한 tree 기반 모델에서는 좋은 참고 자료가 될 수 있습니다.

• Permutation Importance

  • 장점 : Drop-column 방법과 달리 재학습시킬 필요가 없습니다. Drop-column의 매우 큰 단점인 'set의 특성이 -1이 되면 모델에 새로 fit을 진행해야한다는 점' 없이, 관심 특성에 노이즈(보통은 shuffle)를 주어 특성 갯수를 유지하면서 그 특성의 기여도를 따질 수 있습니다.
  • 단점 : 값을 무작위로 섞는 것이기 때문에, 할 때마다 결과가 달라질 수 있습니다. shuffle의 횟수를 늘려 그 분산을 줄일 수는 있으나 그만큼 연산량이 늘어다게 됩니다. 또한 매우 비현실적인 데이터 인스턴스(instance)를 생성할 수도 있습니다. 예를 들어, 데이터를 섞다보니 키가 180cm인 사람의 몸무게가 40kg로 설정된 row가 생기게 되면 데이터의 비개연성, 비현실성이 증가하게 되고 예측값에 영향을 미치게 됩니다.

PDP, SHAP을 이용한 방법들이 있습니다.

참고