Kaggle_House Sales in King County, USA

케글

---

0. 들어가기 전

1. Data fields
2. ID : 집을 구분하는 번호
3. date : 집을 구매한 날짜
4. price : 집의 가격(Target variable)
5. bedrooms : 침실의 수
6. bathrooms : 화장실의 수
7. sqft_living : 주거 공간의 평방 피트(면적)
8. sqft_lot : 부지의 평방 피트(면적)
9. floors : 집의 층 수
10. waterfront : 집의 전방에 강이 흐르는지 유무 (a.k.a. 리버뷰)
11. view : 집이 얼마나 좋아 보이는지의 정도
12. condition : 집의 전반적인 상태
13. grade : King County grading 시스템 기준으로 매긴 집의 등급
14. sqft_above : 지하실을 제외한 평방 피트(면적)
15. sqft_basement : 지하실의 평방 피트(면적)
16. yr_built : 지어진 년도
17. yr_renovated : 집을 재건축한 년도
18. zipcode : 우편번호
19. lat : 위도
20. long : 경도
21. sqft_living15 : 2015년 기준 주거 공간의 평방 피트(면적, 집을 재건축했다면, 변화가 있을 수 있음)
22. sqft_lot15 : 2015년 기준 부지의 평방 피트(면적, 집을 재건축했다면, 변화가 있을 수 있음)

---

# 데이터는 캐글에서 받으셔도 되고 이 링크에서 불러와도 됩니다.
import pandas as pd
df = pd.read_csv('https://ds-lecture-data.s3.ap-northeast-2.amazonaws.com/kc_house_data/kc_house_data.csv')

1. EDA

(각 종 통계치 확인, 여러 plot을 통한 시각화 등은 생략하겠습니다.)

먼저

df.corr()['price'].sort_values(ascending=False)

을 통해 상관계수 상위 5개는 'price', 'sqft_living', 'grade', 'sqft_above', 'sqft_living15', 'bathrooms' 인 것을 파악해두었습니다.

2. Feature Engineering

(당장 떠오르는 방법은 없어, 일단 'id'와 'date'을 제외한 변수들로 다중회귀를 진행하였습니다.)

3. Modeling

3-1-1. id 및 date를 제외한 모든 변수에 대해서 다중회귀

target = 'price'
features = ['bedrooms', 'bathrooms', 'sqft_living', 'sqft_lot', 'floors',
       'waterfront', 'view', 'condition', 'grade', 'sqft_above',
       'sqft_basement', 'yr_built', 'yr_renovated', 'lat', 'long',
       'sqft_living15', 'sqft_lot15', 'zipcode']

y_train = df_train[target]
X_train = df_train[features]
y_test = df_test[target]
X_test = df_test[features]

와 같은 조건으로 선형회귀 인덱싱 후, 모델 피팅을 진행하였습니다.

테스트 데이터의 MSE : 44334905831.3, MAE : 129983.7, RMSE : 210558.6, R2 : 0.7(0.6751740573558591) 입니다.
훈련 데이터의 MSE : 39685983731.2, MAE : 124068.5, RMSE : 199213.4, R2 : 0.7 입니다.
회귀계수로 모델을 설명하는 부분은 일단 넘어가겠습니다.(변수가 너무 많아 의미를 파악하기 어려울 거라 생각)

3-1-2. id 및 date를 제외한 모든 변수에 대해서 다중회귀(그런데 이제 무작정 표준화를 곁들인)

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit(X_train).transform(X_train)
X_test_scaled = scaler.fit(X_test).transform(X_test)

위와 같이 피쳐셋에 표준화 전처리를 진행 후 모델 피팅을 진행하였습니다.

테스트 데이터의 MSE : 41358447199.6, MAE : 131365.1, RMSE : 203367.8, R2 : 0.7(0.6858104110180232) 입니다.
훈련 데이터의 MSE : 39899513851.1, MAE : 123577.7, RMSE : 199748.6, R2 : 0.7 입니다.

일단, 무작정 변수들의 단위를 맞춰보았는데, 테스트 데이터에 대한 score가 약 0.01 증가한 것을 확인할 수 있습니다.
생각보다 표준화 전처리가 미비하다 판단하여 일단은 변수에 대한 변화만 주며 모델링해보았습니다.

3-2. 상관계수 상위 5개로 다중회귀(표준화X)

# price와 상관계수가 높은(0.5 이상) 특성은 'sqft_living', 'grade', 'sqft_above', 'sqft_living15', 'bathrooms' 입니다.
target = 'price'
features = ['sqft_living', 'grade', 'sqft_above', 'sqft_living15', 'bathrooms']

y_train = df_train[target]
X_train = df_train[features]
y_test = df_test[target]
X_test = df_test[features]

테스트 데이터의 MSE : 63247102520.8, MAE : 166621.4, RMSE : 251489.8, R2 : 0.5(0.5195278717932403) 입니다.
훈련 데이터의 MSE : 60420427179.7, MAE : 159247.2, RMSE : 245805.7, R2 : 0.5 입니다.

예상은 했지만 이전보다 변수가 줄어드니 score가 떨어지는 모습을 보입니다.

3-3. EDA를 통해 아래와 같은 굉장히 주관적인 가정을 통해 다중회귀

자세한 EDA는 생략했지만, 이것저것 그려보고 통계치를 보면서 아래와 같은 가정을 통해 몇가지 변수를 drop 후 진행해보았습니다.

• sqft 변수들 중 sqft_living은 sqft_above와 sqft_basement를 더한 값이고 상관계수 상 지하의 영향이 적으므로 basement는 제외시켰습니다.
• 또한 sqft15 변수들의 경우, 15년도를 기준으로 잰 값들이고 train셋에서의 가격은 14년도 기준이기에 제외시켜보았습니다.

target = 'price'
features = ['bedrooms', 'bathrooms', 'sqft_living', 'sqft_lot', 'floors', 
            'grade', 'sqft_above', 'lat', 'long', 'view', 'condition', 'waterfront', 'zipcode']

y_train = df_train[target]
X_train = df_train[features]
y_test = df_test[target]
X_test = df_test[features]

위의 변수들로만 모델링을 진행하였고

테스트 데이터의 MSE : 47966313586.4, MAE : 136276.1, RMSE : 219012.1, R2 : 0.6(0.6499013670241869) 입니다.
훈련 데이터의 MSE : 42738317364.2, MAE : 130068.3, RMSE : 206732.5, R2 : 0.7 입니다.

이것도 판단하기 다소 애매합니다. 변수를 3개 줄인 것치고는 그래도 score가 많이 안떨어진건가 싶기도 합니다.

3-1-3. id 및 date를 제외한 모든 변수에 대해서 다중회귀(헌데, 이번엔 train data의 비율을 늘려본)

처음 진행한 3-1-1에서 이번엔 기존 train과 test를 나눴던 기간 '2015-01-01'을 '2015-03-15'로 늘려서 train set의 비율을 67.7%(기존)에서 81.4%(기간 늘린 후)로 확보한 후 진행해보았습니다.

df_train = df[df['date'] < pd.to_datetime('2015-03-15')]
df_test = df.drop(df_train.index)

print(df_train.shape[0] / df.shape[0] * 100) # 81.41396381807246

이후 모델링 진행한 결과는

테스트 데이터의 MSE : 44334905831.3, MAE : 129983.7, RMSE : 210558.6, R2 : 0.7(0.67640644518824) 입니다.
훈련 데이터의 MSE : 39685983731.2, MAE : 124068.5, RMSE : 199213.4, R2 : 0.7 입니다.

기존보다 약 0.005 정도 score가 증가했습니다.

3-4-1. 최후의 보루, '에라 모르겠다.' date도 숫자형으로 바꾸고, date를 기준으로 데이터를 나누는 것이 아닌 train_test_split을 사용하여 모델을 만들어 보았습니다.

# date를 숫자로 바꿔줍니다.
df['date'] = pd.to_numeric(df['date'])

# 새로운 train, test set을 만들기 위해 아래와 같이 X와 y를 지정합니다.
X = df.drop(['price', 'id'], axis=1)
y = df['price']

# 아래와 같이 train, test set을 만들어주었습니다.
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)

마찬가지로 모델링을 진행하면

테스트 데이터의 MSE : 68087426000.4, MAE : 167000.7, RMSE : 260935.7, R2 : 0.5(0.5448324932597781) 입니다.
훈련 데이터의 MSE : 59062183895.9, MAE : 161677.9, RMSE : 243027.1, R2 : 0.5 입니다.

이런...... date를 추가했기에 뭔가 더 큰 값이 나올거라 생각했는데, 더 작은 값이 나왔습니다.
그러다 문득 date는 숫자형으로 바꾸면 혼자서 scale이 너무 커서 그런건 아닐까 싶어 여기에 다시 한번 표준화를 해보았습니다.

3-4-2. 위의 방식에 표준화

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit(X_train).transform(X_train)
X_test_scaled = scaler.fit(X_test).transform(X_test)

마찬가지로 표준화 전처리 과정을 거친 후 모델링을 하였습니다.

테스트 데이터의 MSE : 44479631979.7, MAE : 124595.4, RMSE : 210901.9, R2 : 0.7(0.7026516586368019) 입니다.
훈련 데이터의 MSE : 39093340103.0, MAE : 124646.5, RMSE : 197720.4, R2 : 0.7 입니다.

이게 맞는진 정확히 모르지만 그래도 반올림 안하고 test set에 대해 0.7이 넘는 score가 나왔습니다!

회귀계수 및 과대/과소 적합을 고려하는 부분은 추후 더 업데이트하도록 하겠습니다..!