Jayden`s

[TIL]36_Interpreting ML Model

목표 PDP(Partial Dependence Plot; 부분의존플랏) 시각화 및 해석 SHAP value plots를 사용해 개별 예측 사례를 설명 PDP(Partail Dependence Plots) 특정 특성에 대해 그 값을 샘플들이 갖고 있는 값들로 최소에서 최대까지 바꾸어 가며 타겟값을 예측해보는 방법입니다. train set에 대해 학습된 모델이 있어야하고 val 또는 test set에 대해서 PDP를 진행합니다. 랜덤포레스트, 부스팅과 같은 앙상블 모델은 높은 성능을 가지지만 선형 모델에 비해 해석하기가 어렵습니다. 복잡한 모델 : 이해하기 어렵지만 성능이 우수 단순한 모델 : 이해하기 쉽지만 성능이 부족 랜덤포레스트, 부스팅의 경우 쉽게 특성중요도(feature importance)를 얻을..

[TIL]35.Feature Importance

목표 특성 중요도 계산 방법들 이해 및 모델 해석에 활용 Boosting에 대한 이해 및 모델 학습 특성 중요도 Feature Importance(Mean Decrease Impurity ; MDI) sklearn 트리 기반 분류기에서 기본으로 사용되는 계산 방법으로 각각의 특성을 모든 트리에 대해 평균 불순도 감소(MDI)를 계산한 값입니다. 불순도 감소(impurity decrease)는 다음과 같이 계산합니다: $$\displaystyle \frac{N_t}{N}$ * (impurity - \displaystyle\frac{N_{tR}}{N_t} * Rightimpurity - \displaystyle\frac{N_{tL}}{N_t}$ * Leftimpurity)$$ $$N: 전체 관측치 수, N_..

Data Wrangling

Data Wrangling 의미 raw data를 더 손쉽게 사용 가능한 형태로 바꾸는 모든 과정을 의미합니다.(Data cleaning, Data remediation, Data munging 이라고 불리기도 합니다.) 구성(단계) Discovery(발견) 데이터에 대해 친숙해지는 단계로, EDA 단계와 같이 데이터의 특성, 통계치 등을 살펴보며 방향을 잡는 단계입니다. Structuring(구조화) 일반적인 raw data는 바로 사용하기 힘들기 때문에 각각의 raw data를 적절하게 조합하여 원하는 데이터프레임을 얻는 단계입니다. 오늘 저희가 배운 merge, groupby 등을 이용한 특성 생성 및 정리가 이 단계에 해당합니다. Cleaning(청소) 데이터 분석에 있어 영향을 주는 오류를 제거..

[TIL]34.Data Wrangling

목표 지도학습 모델을 위한 훈련 데이터를 생성 지도학습을 위한 데이터 엔지니어링 이해 및 적절한 특성 생성 데이터 확인 EDA를 통해 각 파일들 및 특성들을 조사하고 데이터에 대해 파악합니다. 데이터프레임 간의 관계를 살펴봅니다. 보통 데이터파일은 여러 컬럼들의 조합으로 다양하게 데이터 베이스에 저장됩니다. 다양한 파일을 불러와 서로의 연결되는 컬럼이 있으면 merge를 이용해 목적에 맞게 새로운 데이터프레임을 만듭니다. train 및 test(혹은 val) set이 완전히 분리되어있는지 확인합니다. 예시 set(orders[orders['eval_set']=='test']['user_id'])\ .isdisjoint(set(orders[orders['eval_set']=='train']['user_id..

데이터 직무 간단 정리(빅데이터 커리어 가이드북 참고)

실무에서 데이터분석가/데이터엔지니어/데이터사이언티스트에게 중요한 역량이 무엇이라고 생각하며, 어떤 어려움을 겪게 될 것 같은지와 어떤 능력이 필요할 지 논의해 보세요. 또한, 섹션2 프로젝트에 앞서 본인이 얻고자 하는 점이나 다짐 등을 서로 공유해 보세요. 데이터 직무 분류(위의 질문을 기준으로 작성하였습니다.) 좀더 자세한 내용은 더 찾아봐야겠지만, 대략적으로나마 직무별 역량 그리고 어떤 어려움이 있을지 등을 판단할 수 있을 것 같습니다. 데이터 분석가(Data Analyst) 데이터에서 기업의 현재 상태와 관련된 인사이트를 도출하고 경영진에게 효율적으로 전달하는 업무를 담당합니다. 여기서 인사이트란 '개선해야 할 문제를 찾아내고 이를 해결할 아이디어를 생각해내는 것'입니다. 주로 간단한..