[TIL]34.Data Wrangling

목표

• 지도학습 모델을 위한 훈련 데이터를 생성
• 지도학습을 위한 데이터 엔지니어링 이해 및 적절한 특성 생성

데이터 확인

• EDA를 통해 각 파일들 및 특성들을 조사하고 데이터에 대해 파악합니다.
• 데이터프레임 간의 관계를 살펴봅니다.
  • 보통 데이터파일은 여러 컬럼들의 조합으로 다양하게 데이터 베이스에 저장됩니다.
  • 다양한 파일을 불러와 서로의 연결되는 컬럼이 있으면 merge를 이용해 목적에 맞게 새로운 데이터프레임을 만듭니다.
• train 및 test(혹은 val) set이 완전히 분리되어있는지 확인합니다.
  • 예시

set(orders[orders['eval_set']=='test']['user_id'])\
.isdisjoint(set(orders[orders['eval_set']=='train']['user_id'])) 
# test에 해당하는 user_id 값들과 train에 해당하는 user_id의 교집합이 있는지 확인

True가 나오면, 교집합이 없는 것 즉 겹치는 부분이 없다.

• 각각의 data set의 중복 여부도 확인해야합니다.

데이터 결합

• merge 함수를 통한 데이터프레임 간 결합
  • 각 데이터프레임이 갖는 공통된 칼럼을 통해 데이터를 결합합니다.(단, 원하는 조건에 맞게)

df_A.merge(df_B, on='column_c') # A와 B를 column_c 특성을 기준으로 결합
# hows= 을 추가해서 merge 시 기준이되는 dataframe 정할 수 있습니다.
# left_on = , right_on = 을 사용할 때는, 기준이 되는 특성이 같은 성질인데 df마다 표현된 이름이 다를 때 사용합니다.

• groupby 함수를 통한 데이터프레임 내에서 데이터 결합 및 조작

df_A.groupby('column_c') # .count(), .mean(), .apply(list) 등 컬럼을 묶은 뒤 다양한 함수를 적용해서 df을 낼 수 있습니다.
# 이 때, groupby를 하게 되어 인덱스가 바뀐 경우 `reset_index()`와 한 쌍이라는 점을 기억하면 편리합니다.
# 즉, groupby로 한번 묶고 이런저런 함수작업을 해준 뒤, reset_index()로 한번 풀고 하는 느낌입니다.

위의 예시

products_per_order = (prior
                      .groupby(['user_id','order_id']) # 첫번째 groupby
                      .count()
                      .reset_index() # 위에서 groupby 하면 인덱스가 2개의 컬럼에 대해 묶이기 때문에 이후에 풀어주기
                      .groupby('user_id')['product_id'] # 두번째 groupby
                      .mean()
                      .reset_index() # 두번째 groupby에 대해서 풀어주기
                      .rename(columns={'product_id':'products_per_order'}))
products_per_order 

아래와 같은 깔끔한 결과를 낼 수 있습니다.
(groupby에 대해서 추상적인 느낌을 잘 생각하는 게 중요한듯 합니다. 묶어두는 모습을 대략 상상하고 거기에 다양한 함수를 적용하겠다는 느낌!)

merge 함수와 groupby 함수에 대한 연습 계속!!!

원본 데이터로부터 더 좋은 특성을 가진 학습데이터를 만들어내는 방법은 무수히 많습니다.
이 데이터로 학습이 잘 된다면 행운이겠지만, 그렇지 않을 경우 더 좋은 학습 데이터를 만들기 위해 데이터 프로세스에서 가장 많은 시간을 고군분투해야 할 수 있습니다.