💿 Data/이모저모

Data Wrangling

Data Wrangling 의미 raw data를 더 손쉽게 사용 가능한 형태로 바꾸는 모든 과정을 의미합니다.(Data cleaning, Data remediation, Data munging 이라고 불리기도 합니다.) 구성(단계) Discovery(발견) 데이터에 대해 친숙해지는 단계로, EDA 단계와 같이 데이터의 특성, 통계치 등을 살펴보며 방향을 잡는 단계입니다. Structuring(구조화) 일반적인 raw data는 바로 사용하기 힘들기 때문에 각각의 raw data를 적절하게 조합하여 원하는 데이터프레임을 얻는 단계입니다. 오늘 저희가 배운 merge, groupby 등을 이용한 특성 생성 및 정리가 이 단계에 해당합니다. Cleaning(청소) 데이터 분석에 있어 영향을 주는 오류를 제거..

데이터 직무 간단 정리(빅데이터 커리어 가이드북 참고)

실무에서 데이터분석가/데이터엔지니어/데이터사이언티스트에게 중요한 역량이 무엇이라고 생각하며, 어떤 어려움을 겪게 될 것 같은지와 어떤 능력이 필요할 지 논의해 보세요. 또한, 섹션2 프로젝트에 앞서 본인이 얻고자 하는 점이나 다짐 등을 서로 공유해 보세요. 데이터 직무 분류(위의 질문을 기준으로 작성하였습니다.) 좀더 자세한 내용은 더 찾아봐야겠지만, 대략적으로나마 직무별 역량 그리고 어떤 어려움이 있을지 등을 판단할 수 있을 것 같습니다. 데이터 분석가(Data Analyst) 데이터에서 기업의 현재 상태와 관련된 인사이트를 도출하고 경영진에게 효율적으로 전달하는 업무를 담당합니다. 여기서 인사이트란 '개선해야 할 문제를 찾아내고 이를 해결할 아이디어를 생각해내는 것'입니다. 주로 간단한..

HyperParameter tuning

GridSearchCV 를 사용하여 하이퍼파라미터 튜닝을 진행합니다. 모델 성능을 높이기 위해 가능한 시도를 다 해보세요. 모델 성능 개선에 가장 큰 영향을 준 특성공학이나 하이퍼파라미터 튜닝에 대해서 왜 성능 개선에 큰 영향을 주었는지 설명해 보시고 서로의 결과에 대해 공유하고 토론해 보세요. Ordinal Encoder 사용 1-1. RandomizedSearchCV : GridSearchCV를 하기 전 적당한 범위를 찾기 위해 실행하였습니다. cross_val_score를 통해 cv = 5로 선정하였습니다. 하이퍼파라미터 조정 위의 결과에서 대략적으로 GridSearchCV에 넣어줄 숫자를 생각해 볼 수 있습니다. 1-2. GridSearchCV : 위의 값을 기준으로 약간의 차이를 주며 최적의 파..

Evaluation metrics for Classification

confusion matrix, classification report 등을 그려 보시고, 각 평가지표들에 대해 최대한 분석하고 무엇이 부족한지 어떤 방향으로 성능을 높여야 할 지 논의해 보세요. 분류 문제의 평가 지표 accuracy(정확도) f1_score precision(정밀도) recall(재현율 ; sensitivity) ROC curve 및 AUC score accuracy(정확도) f1_score precision 및 recall - classification_report train set val set confusion matrix train set val set ROC curve 및 AUC train set val set train set vs val set 당연한 결과겠지만, 여러지표..

category_encoders(TargetEncoder, CatBoostEncoder) 그리고 Ordinal과 OneHot encoder

1. 수업에서 언급되지 않은 다른 종류의 category_encoders를 2개 이상 사용해 결과를 공유해 보시고, 다음 질문에 대해 서로 논의해 보세요. 사용하신 encoder는 각각 어떤 장단점을 갖고 있으며, 어떤 상황에서 사용하면 좋을까요? 여러 인코더 중 TargetEncoder와 CatBoostEncoder가 가장 흥미가 생겨 적용해보았습니다. OrdinalEncoder(기준) 피팅 셀 시간 : 4.27 s 정확도 및 f1 score 특성 중요도 TargetEncoder 피팅 셀 시간 : 5.29 s 정확도 및 f1 score 특성 중요도 CatBoostEncoder 피팅 셀 시간 : 14.1 s 정확도 및 f1 score 특성 중요도 두 가지의 인코더를 설정한 이유는 자세히는 모르지만, Ca..