새로운 특성(특성공학), 이상치, Scaler, 모델 성능 향상

1) 새로운 특성을 만들 수 있다면, 어떤 특성공학을 해 볼 수 있을까요?

• BMI(비만지수) = 몸무게 / 키^2 (키 : [m], 몸무게 : [kg])
• 대사증후군 가능성 : 수축기 혈압과 이완기 혈압 차이 참고
• age / 365 를 통해 나이로 맞추기

2) 아웃라이어가 있는 특성이 있다면, 어떤 기준으로 제거할 수 있을까요?

이 부분이 도메인 지식과 연관이 큰 것 같습니다.

• 먼저 boxplot과 같은 시각화 자료를 통해서 이상치의 유무를 확인
• 통계치에 기반해서 상위 및 하위 %의 값을 제거
• 혹은 도메인 지식을 도입해서 이상치에 대한 기준을 잡고 제거

과제의 예시에서 저같은 경우는 단순히 통계치로 하게 되니 몸무게가 100kg만 넘어가도 제거가 되어버려서 따로 도메인 지식을 서치 혹은 상식선(굉장히 주관적이지만)에 의해 이상치를 제거하였습니다.

# 수치값에 대한 이상치 존재 간단히 확인
df['height'].min(), df['height'].max() 
df['weight'].min(), df['weight'].max()

# 각 시각화 자료 및 상식선(도메인)에서 이상치에 대한 기준을 잡고 데이터 선별
df = df[(df['height'] >= 140) & (df['height'] <= 200)]
df = df[(df['weight'] >= 30) & (df['weight'] <= 150)]
df = df[(df['ap_hi'] >= 30) & (df['ap_hi'] <= 200)]
df = df[(df['ap_lo'] >= 30) & (df['ap_lo'] <= 200)]
df = df[df['ap_lo'] < df['ap_hi']]

3) feature scaling 문서를 보면 여러가지 종류의 Scalar가 있는데, 각 Scalar는 각각 어떤 상황에 적용하면 좋을까요? 본 데이터에서는 어떤 scalar를 적용해볼 수 있을까요?

1. StandardScaler

   각 차원(컬럼)의 단위를 맞춰줍니다 그러나 이상치가 존재한다면 평균과 표준편차에 영향을 끼쳐 균형잡힌 척도를 보장할 수 없습니다.

2. MinMaxScaler

   모든 변수의 값이 0 ~ 1 사이에 있도록 데이터를 조정합니다. 다만, 이상치가 존재 시 변환된 값이 매우 좁은 범위로 압출될 수 있습니다. 즉, 이상치에 굉장히 민감합니다.

3. MaxAbsScaler

   절대값이 0 ~ 1 사이에 있도록 조정합니다. 즉, -1 ~ 1 사이로 조정하게 됩니다. 양수 데이터로만 구성된 데이터셋에선 MinMaxScaler와 유사하게 동작합니다.

4. RobustScaler

   이상치의 영향을 최소화한 기법입니다. 중앙값과 IQR을 사용하기 때문에 StandardScaler와 비교 시 동일한 값을 더 넓게 분포시키고 있음을 확인할 수 있습니다.

scaler 참고 사이트

일단 과제 데이터에선 StandardScaler를 가장 기본적으로 사용 가능할 것 같고, 연속형 데이터에 생각보다 이상치들이 많이 있어서 RobustScaler도 적합해보입니다.(다만, 이상치는 그 전에 제거가 선행되는 게 가장 좋다고 생각합니다.)

4. 모델 성능을 높이기 위해 어떤 튜닝을 추가해 볼 수 있을까요?

명목형 자료를 0과 1로 인코딩해주는 OneHotEncoder, 결측치를 채워주는 Simplimputer, 다항식 형태의 컬럼을 만들어주는 PolynomialFeatures 등등의 전처리 자료 튜닝이 있습니다.
또한, sklearn의 여러 모델에서 사람이 바꿀 수 있는 인자(Hyper parameter)를 조절해주는 방법이 있을 것 같습니다.

이상입니다. 감사합니다.