💿 Data/이모저모

시각화를 통해 확인한 Imputer의 차이

2개 이상의 imputer를 사용해 각각 특성-타겟 관계 그래프를 그려 공유하고 다음 질문에 대해 서로 논의해 보세요. 먼저 특성중요도에서 가장 중요도가 높게 나온 'doctor_recc_h1n1' 특성에 대해서만 Imputer 변경에 따른 타겟와의 관계 그래프를 그려보았습니다. seaborn plots 사용하여 관심있는 특성들과 target간의 관계를 그래프로 나타내 보세요. Imputer를 적용하지 않았을 때 변수와 타겟 모두 binary한 값으로 0과 1에 대한 값들만 찍히는 것이 보입니다. SimpleImputer(strategy='mean') 적용 시 imputer1 = SimpleImputer(strategy='mean') train_imp1 = im..

Ridge regression, 모델 성과 평가 지표, OneHotencoding, feature selection

1) 본인만의 아이디어로 best ridge regression model을 만들어 서로 공유하시고 토론해 보세요. 어떤 특성공학을 사용했고, 그 이유와 기대효과는 무엇이었나요? 처음 변수는 'Rooms, Type, Price, Method, Postcode, Regionname, Propertycount, Distance, CouncilArea' 입니다. 이 중 OneHotencoding을 염두에 두고 unique 값이 너무 많다고 판단한 변수는 drop 해주었습니다. 또 'Postcode' 같은 경우 숫자형 데이터인데 그 순서(크기)가 의미가 없을 것이라 판단했고 차라리 Regionname을 원핫인코딩을 통해 그 지역에 대한 변수로 대입해주는 게 옳다 생각하여 drop하였..

새로운 특성(특성공학), 이상치, Scaler, 모델 성능 향상

1) 새로운 특성을 만들 수 있다면, 어떤 특성공학을 해 볼 수 있을까요? BMI(비만지수) = 몸무게 / 키^2 (키 : [m], 몸무게 : [kg]) 대사증후군 가능성 : 수축기 혈압과 이완기 혈압 차이 참고 age / 365 를 통해 나이로 맞추기 2) 아웃라이어가 있는 특성이 있다면, 어떤 기준으로 제거할 수 있을까요? 이 부분이 도메인 지식과 연관이 큰 것 같습니다. 먼저 boxplot과 같은 시각화 자료를 통해서 이상치의 유무를 확인 통계치에 기반해서 상위 및 하위 %의 값을 제거 혹은 도메인 지식을 도입해서 이상치에 대한 기준을 잡고 제거 과제의 예시에서 저같은 경우는 단순히 통계치로 하게 되니 몸무게가 100kg만 넘어가도 제거가 되어버려서 따로 도메인 지식을 서치 혹은 상식선(굉장히 주관..

Kaggle_House Sales in King County, USA

케글 0. 들어가기 전 Data fields ID : 집을 구분하는 번호 date : 집을 구매한 날짜 price : 집의 가격(Target variable) bedrooms : 침실의 수 bathrooms : 화장실의 수 sqft_living : 주거 공간의 평방 피트(면적) sqft_lot : 부지의 평방 피트(면적) floors : 집의 층 수 waterfront : 집의 전방에 강이 흐르는지 유무 (a.k.a. 리버뷰) view : 집이 얼마나 좋아 보이는지의 정도 condition : 집의 전반적인 상태 grade : King County grading 시스템 기준으로 매긴 집의 등급 sqft_above : 지하실을 제외한 평방 피트(면적) sqft_basement : 지하실의 평방 피트(면적)..

Simple Linear Regression(단순선형회귀)

1. 단순선형회귀모델을 만들기 위해 전제되어야 하는 조건들에 대해 찾아보시고 논해보세요. 두 변수가 선형관계에 있어야 합니다. 표본 추출이 무작위로 이뤄져야 합니다. 직선을 그리기 위해 최소 2개 이상의 데이터가 있어야합니다. 주어진 X값에서 오차의 평균은 0을 만족합니다.(Zero-conditional mean) 주어진 X값에서 오차들은 정규분포를 이뤄야 합니다.(Normality ; 정규성) 주어진 X값에서 오차들이 같은 정도로 퍼져 있어야 합니다.(homoscedasticity ; 등분산성) 주어진 X값에서 오차항들끼리는 독립이어야 합니다.(Independence ; 독립성) 위의 전제를 조금 더 자세히 살펴보자면 위와 같은 그림에서 모든 점을 지나는 직선을 그을 수는 없지만 어떤 직선을 기준으로 ..