Ridge regression, 모델 성과 평가 지표, OneHotencoding, feature selection

1) 본인만의 아이디어로 best ridge regression model을 만들어 서로 공유하시고 토론해 보세요.

• 어떤 특성공학을 사용했고, 그 이유와 기대효과는 무엇이었나요?

처음 변수는 'Rooms, Type, Price, Method, Postcode, Regionname, Propertycount, Distance, CouncilArea' 입니다.
이 중 OneHotencoding을 염두에 두고 unique 값이 너무 많다고 판단한 변수는 drop 해주었습니다.
또 'Postcode' 같은 경우 숫자형 데이터인데 그 순서(크기)가 의미가 없을 것이라 판단했고 차라리 Regionname을 원핫인코딩을 통해 그 지역에 대한 변수로 대입해주는 게 옳다 생각하여 drop하였습니다.

또, 타겟인 'Price'에 대해 굉장히 주관적이지만, displot에서 약 4백만부터는 거의 의미가 없다는 생각을 했고, 퍼센테이지로 상위 5%에 해당하는 값이 2,115,000이어서 4,000,000 이상을 drop하는 것은 문제가 안되리라 생각하여 drop 해주었습니다.

사실 이번 과제에서는 어떤 새로운 변수를 만드는 것에는 제한이 있는 것 같아, 제 주관을 개입해서 변수를 선택해서 모델링을 해보자 라는 마음으로 진행했습니다.

• 모델 성능 평가 지표는 무엇으로 선정했고, 선정한 이유는 무엇인가요?

R-squared score를 사용하였습니다. 회귀 모델을 적용했고, MAE나 MSE, RMSE보다 직관적으로 해석이 된다 생각하였습니다. (사실 아직 MAE나 MSE는 어떤 기준으로 모델에 대한 평가가 되는지 잘 모르겠습니다. 상대적인 평가는 가능한데, 이 수치만 보고 절대적인 평가는 어려운 것 같습니다.)

• 어떠한 머신러닝 라이브러리를 사용했고, 어떤 튜닝을 진행했나요? 테스트셋의 성능 변화는 어떠한가요?

# 원핫인코딩

from category_encoders import OneHotEncoder

encoder = OneHotEncoder(use_cat_names=True)

X_train_encoded = encoder.fit_transform(X_train)
X_val_encoded = encoder.transform(X_val)
X_test_encoded = encoder.transform(X_test)

# 스케일링

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()

X_train_scaled = scaler.fit_transform(X_train_encoded)
X_val_scaled = scaler.transform(X_val_encoded)
X_test_scaled = scaler.transform(X_test_encoded)

# SelectKBest를 이용하여 변수 선택을 해보려다, 일단 전처리에서 주관적인 판단을 한 변수에 대해서 모델링을 해보고싶어 적용하지 않았습니다.

# RidgeCV를 적용하여 최적의 alpha값 및 best score 확인

from sklearn.linear_model import RidgeCV

alphas = [10, 15, 20, 30, 50, 55]

model_ridCV = RidgeCV(alphas=alphas, cv=5)
model_ridCV.fit(X_train_scaled, y_train)

print(model_ridCV.alpha_, model_ridCV.best_score_)

50 0.5492099892389389

점수가 위의 기본과제보다 더 떨어졌습니다. 해서 이를 극복해보고자 Polynomial 해보았습니다.

from sklearn.preprocessing import PolynomialFeatures

poly = PolynomialFeatures(degree=2)

X_train_final = poly.fit_transform(X_train_scaled)
X_val_final = poly.transform(X_val_scaled)
X_test_final = poly.transform(X_test_scaled)

# 이후 다시 RidgeCV 로 최적의 점수 찾기

from sklearn.linear_model import RidgeCV

alphas = [100, 150, 200]

model_ridCV = RidgeCV(alphas=alphas, cv=2)
model_ridCV.fit(X_train_final, y_train)

print(model_ridCV.alpha_, model_ridCV.best_score_)

100 0.6521438103483567

from sklearn.linear_model import Ridge

model = Ridge(alpha=100)
model.fit(X_train_final, y_train)

print(model.score(X_train_final, y_train))
print(model.score(X_val_final, y_val))
print(model.score(X_test_final, y_test))

0.6560498372961219 -> train set에대한 score
0.6456660001791444 -> val set에 대한 score
0.6389513647806122 -> test set에 대한 score

다항함수로 변형 시 score가 확연하게 증가하였습니다. 단순하게 생각해서 원핫인코딩을 수행하면 컬럼개수(변수개수)가 상대적으로 많아지게 되고, 이 부분은 단순 linear 하게만 모델링해서 score가 높게 나오기 어렵다 판단이 됩니다. 해서 다항함수화해주면 많은 변수에 대한 복잡성을 잘 잡아주는 게 아닐까 생각합니다.

• 과제 수행 중 부딪혔던 어려움이나 모르는 점이 있었나요? 있었다면 어떻게 해결해 볼 수 있을까요?

늘 그렇지만, 처음 변수(컬럼)에 대해 다루는 게 제일 어려운 것 같습니다. 새로운 변수를 만들거나 제거하는 부분에서 그 이유를 설명할 수 있는 통계적인 기반, 도메인 지식 혹은 하다못해 시각화 자료라도 타당성을 보여주는 게 쉽지 않은 것 같습니다. 그리고 아직 너무 미비해서 배워나가야겠지만, 모델을 선정하고 모델의 하이퍼파라미터 등을 조정하는 것도 쉽지 않은 것 같습니다. 컬럼보다도 직관적으로 느낌이 안오는 하이퍼파라미터를 그냥 단순하게 숫자 대입하면서 조절하는 게 맞는건지, 어떤 생각을 기반으로 조절을 하는건지 잘 모르겠습니다. 추후 이 부분은 배울 수 있을 것이라 생각합니다. :)

2) 원핫인코딩에서 모든 범주형 값(unique한)을 컬럼으로 인코딩할 경우 어떤 문제점이 발생할 수 있고, 어떻게 해결할 수 있는지에 대하여 조사한 후 함께 논의해 보세요.

차원의 저주(변수가 너무 많아서 생기는 과적합)이 발생합니다.

• 먼저 단순하게, 컬럼이 너무 많이 생기는(카테고리가 너무 많은) 컬럼은 drop을 고민 혹은 상관계수가 높은 다른 연속형 변수에 의존하는 것도 방법 같습니다.
• 위의 방법이 안된다면 원핫인코딩을 적용 후, 컬럼을 줄이면 될 것 같습니다. 그 방법에는 selectKBest를 이용해서 변수를 select하는 방법이 있고 해보진 않았지만, 설명력을 감수하고 PCA를 통해 차원을 축소하는 방안도 있을 것 같습니다.
• 만약 이래도 컬럼이 줄어들지 않는다면, 모델 자체를 linear regression처럼 비교적 단순한 모델에 fitting하지말고 Polynomial하여 다항함수화하여 학습시키는 것도 그 복잡도를 해소할 수 있는 방법 중 하나가 아닐까 생각합니다.

3) 특징선택(feature selection) 방법들에 대하여 조사한 후 함께 논의해 보세요.

Feature selection?

• 모델링 시 raw data의 모든 feature를 사용하는 것은 computing power 와 memory 측면에서 매우 비효율적입니다
• 해서 일부 필요한 feature만 선택해서 사용하는 것

추가)
Feature Engineering : 도메인 지식을 사용하여 데이터에서 피쳐를 변형/생성
Feature Extraction : 차원축소 등 새로운 중요 피쳐를 추출
Feature Selection : 기존 피쳐에서 원하는 피쳐만 (변경하지 않고) 선택
이런 구분이 있어서 내용 첨부하였습니다.

Feature selection의 장점

• 사용자가 해석하기 쉽게 모델을 단순화
• 훈련 시간의 축소
• 차원의 저주 방지
• 일반화

그렇다면 어떻게 selection을 진행할 것인가?

생각해보면 feature를 고르는 것은 feature에 대한 subset을 추출하는 개념이므로 노가다만 가능하다면 다양하게 feature를 뽑고 score가 높은 subset을 가져가는 게 좋습니다. 그러나 현실적으로 시간, 자원 면에서 비효율적이기에 저희는 가장 최대한 효율적으로 selection을 진행해야합니다.

1. Filter Method

• 통계적 측정 방법(chi-square test, correlation coefficient with heatmap 등)을 사용하여 피처간의 상관관계를 알아내고 높은 상관계수를 가지는 피처를 사용하는 방법입니다.
• 하지만, 저희가 모델링해보면 알다시피 상관계수가 높다고 반드시 모델에 적합한 피처라고 할 수 없습니다.

2. Wrapper Method

• 예측 정확도에서 가장 좋은 성능을 보이는 Feature subset을 뽑아내는 방법
• 기존 데이터에 테스트를 진행할 hold-out set을 따로 두어야합니다.
• 여러번 머신러닝을 진행하기에 시간과 비용이 높게 발생합니다.
• 고생 끝에 낙이 온다고 그래도 찾게 된 best feature subset은 확실한 성능을 낼 가능성이 높습니다.

다음과 같은 방식이 존재합니다.

Forward Selection(전진선택) : 변수가 없는 상태에서 하나씩 추가하면서 진행
Backward Elimination(후방제거) : 전진선택과 반대되는 개념으로 전부 다 넣고 하나씩 빼면서 진행
Stepwise Selection(단계별선택) : 위 2개의 방법을 결합해서 사용하는 방식

3. Embeded Method

• 위의 1번 Filtering과 Wrapper의 장점을 결합한 방법
• 각각의 feature를 직접 학습하며, 모델의 정확도에 기여하는 feature를 선택합니다.
• 계수가 0이 아닌 feature가 선택되어, 더 낮은 복잡성의 모델을 훈련하며 학습 절차를 최적화합니다.

아래와 같은 방식이 존재합니다.

Lasso : L1-norm을 통해 제약을 주는 방법
Ridge : L2-norm을 통해 제약을 주는 방법
Elastic Net : 위 2개의 제약을 선형결합한 방법
SelectFromModel : DecisionTree 기반 알고리즘에서 피처를 select

이상입니다. 감사합니다. :)

참고1
참고2