Jayden`s

[TIL]33.Choose your ML problems

목표 예측모델을 위한 테갓을 선택, 그 분포를 확인 train/val set 사이 또는 target/features 사이에 일어나는 정보 누출(leakage) 예방 상황에 맞는 검증 지표(metrics; 평가지표) 사용 데이터 과학자 실무 프로세스 비즈니스 문제 실무자들과 대화를 통해 문제 발견 데이터 문제 문제와 관련된 데이터를 발견 및 수집 데이터 문제 해결 데이터 처리, 시각화 머신러닝, 통계 비즈니스 문제 해결 데이터 문제 해결을 통해 실무자들과 비즈니스 문제 해결 타겟 선정 및 그 분포 확인 지도학습(Supervised learning)에서 예측할 타겟을 선정 타겟에 따라 회귀(Regression) / 분류(Classification) 문제 구분 구분이 어려운 경우도 존재 또한, 이산형, 순서형..

HyperParameter tuning

GridSearchCV 를 사용하여 하이퍼파라미터 튜닝을 진행합니다. 모델 성능을 높이기 위해 가능한 시도를 다 해보세요. 모델 성능 개선에 가장 큰 영향을 준 특성공학이나 하이퍼파라미터 튜닝에 대해서 왜 성능 개선에 큰 영향을 주었는지 설명해 보시고 서로의 결과에 대해 공유하고 토론해 보세요. Ordinal Encoder 사용 1-1. RandomizedSearchCV : GridSearchCV를 하기 전 적당한 범위를 찾기 위해 실행하였습니다. cross_val_score를 통해 cv = 5로 선정하였습니다. 하이퍼파라미터 조정 위의 결과에서 대략적으로 GridSearchCV에 넣어줄 숫자를 생각해 볼 수 있습니다. 1-2. GridSearchCV : 위의 값을 기준으로 약간의 차이를 주며 최적의 파..

Evaluation metrics for Classification

confusion matrix, classification report 등을 그려 보시고, 각 평가지표들에 대해 최대한 분석하고 무엇이 부족한지 어떤 방향으로 성능을 높여야 할 지 논의해 보세요. 분류 문제의 평가 지표 accuracy(정확도) f1_score precision(정밀도) recall(재현율 ; sensitivity) ROC curve 및 AUC score accuracy(정확도) f1_score precision 및 recall - classification_report train set val set confusion matrix train set val set ROC curve 및 AUC train set val set train set vs val set 당연한 결과겠지만, 여러지표..

[TIL]32.Section2 Sprint2 Chall(Sprint2 키워드 중심 정리)

앞으로는 스프린트 챌린지 이후 wrap up 내용을 요약하려 합니다. 트리모델 선형모델보다 스케일링에 비교적 덜 민감하고 적용 전 여러 가정에 비교적 자유로움(타당성을 위한 가정을 둘 게 별로 없다.) 과적합되기 쉽다.(단, 어느정도 과적합이 통제가 된다면 아예 학습이 안되는 경우보단 낫다.) 사실 오히려 발전한 모델일수록 학습을 너무 잘해서 과적합되기 쉽다. 트리에서의 비용함수 불순도(Impurity) : 지니불순도, 엔트로피 / Information gain에 대한 개념! 트리모델의 노드에서의 순간 순간은 최적인데 트리 전체를 놓고 볼 때는 최적이 아닐 수 있다. -> 생각해볼 문제 파이프라인 특징 : 간결함, 전처리와 모델링을 이어서 생각할 수 있음, 협업 시에도 중요 특성 중요도 특성이 노드에 개..

[TIL]31.Model Selection(모델 선택)

목표 Model Selection(모델 선택)을 위한 Cross Validation(교차검증) 방법 이해 및 활용 Hyperparameter를 최적화하여 모델의 성능 향상 Cross-Validation(교차검증) Hold-Out 교차검증 : train/validate/test set으로 나눠 학습을 진행 train set의 크기가 작을 때는 val set을 따로 분리하는 것이 부담이 될 수 있습니다. 억지로 val set을 따로 추출해도 예측 성능에 대한 추정이 부정확할 확률이 높습니다. K-fold 교차검증 : 데이터를 k개로 등분하고 k개의 집합에서 k-1개는 train set, 1개는 val set으로 사용하여 k번 학습하는 방법 위의 Hold-Out 방법의 단점을 극복할 수 있습니다. 어떤 학습 ..