시각화를 통해 확인한 Imputer의 차이

2개 이상의 imputer를 사용해 각각 특성-타겟 관계 그래프를 그려 공유하고 다음 질문에 대해 서로 논의해 보세요.

먼저 특성중요도에서 가장 중요도가 높게 나온 'doctor_recc_h1n1' 특성에 대해서만 Imputer 변경에 따른 타겟와의 관계 그래프를 그려보았습니다.

seaborn plots 사용하여 관심있는 특성들과 target간의 관계를 그래프로 나타내 보세요.

0. Imputer를 적용하지 않았을 때

변수와 타겟 모두 binary한 값으로 0과 1에 대한 값들만 찍히는 것이 보입니다.

1. SimpleImputer(strategy='mean') 적용 시

imputer1 = SimpleImputer(strategy='mean')
train_imp1 = imputer1.fit_transform(train_chall)
train_imp1 = pd.DataFrame(train_imp1, columns=['doctor_recc_h1n1', 'vacc_h1n1_f'])

2. SimpleImputer(strategy='median') 적용 시

imputer2 = SimpleImputer(strategy='median')
train_imp2 = imputer2.fit_transform(train_chall)
train_imp2 = pd.DataFrame(train_imp2, columns=['doctor_recc_h1n1', 'vacc_h1n1_f'])

3. SimpleImputer(strategy='most_frequent') 적용 시

4. imputer4 = SimpleImputer(strategy='constant', fill_value=2) 적용 시

imputer4 = SimpleImputer(strategy='constant', fill_value=2)
train_imp4 = imputer4.fit_transform(train_chall)
train_imp4 = pd.DataFrame(train_imp4, columns=['doctor_recc_h1n1', 'vacc_h1n1_f'])

5. KNNImputer(n_neighbors=2) 적용 시

imputer5 = KNNImputer(n_neighbors=2)
train_imp5 = imputer5.fit_transform(train_chall)
train_imp5 = pd.DataFrame(train_imp5, columns=['doctor_recc_h1n1', 'vacc_h1n1_f'])

사용하신 imputer는 각각 어떤 장단점을 갖고 있으며 어떤 상황에서 사용하면 좋을까요?

• 변수가 continuous value일 경우 : SimpleImputer의 'mean', 'constant', KNNImputer
• 변수가 categorical value일 경우 : 순서형-SimpleImputer의 'median', 'most_frequent' / 명목형-SimpleImputer의 'most_frequent'/ 상관없이-SimpleImputer의 'constant'

만드신 특성-타겟 관계 그래프에서 차이점이 있다면 무엇이고, 왜 그런 차이가 발생했다고 생각하시나요?

위의 그래프를 보면, 카테고리컬한 변수에 'mean', 'constant', 'KNN'과 같은 Imputer를 적용하게 되면 Missing value가 binary한 값으로 채워지는 게 아닌, 그 이외의 다른 숫자로 채워지게 됩니다. 해서 위와 같이 categorical한 변수에 대해서는 'median', 'most_frequent'와 같이 0과 1 이외의 숫자가 나오지 않는 방법을 써야한다고 생각합니다. 이게 곧 각 Imputer의 장단점이지 않을까 생각했습니다.

추가 사항

1. Multivariate feature imputation

말 그대로 위의 경우처럼 각 변수(컬럼)에 대한 '평균', '중위값', '최빈값' 등을 적용하는 것이 아닌 전체 데이터셋에 대해 기준을 잡고(모든 컬럼을 고려하여) 값을 채우는 imputer 방식입니다.
sklearn.impute.IterativeImputer로 사용합니다.

2. Marking imputed values

결측치에 대한 부분을 True로 하고 결측치가 아닌 값에 대해서는 False를 반환합니다.
sklearn.impute.MissingIndicator로 사용합니다.

위 사진에서 features='all'을 하느냐 안하느냐에 따라 missing value가 있는 컬럼을 표시 생략하기도 안하기도 하는 것을 확인할 수 있습니다.

위의 Imputer 모두 결국엔 변수의 결측치를 바꾸는 것인데, 왜 KNN의 경우에만 결측치에 해당했던 '0.5'값을 갖는 관측치들이 전부 target이 1에만 해당하는 것인지 잘 모르겠습니다..!

도전과제에서 그래프를 통해 Imputer에 따른 결측치 다루는 차이점을 확인하는 것이 이 의도가 맞는지 정확치는 않습니다..!

이상입니다. 감사합니다. :)