[TIL]2.Feature Engineering

Feature Engineering

• 도메인 지식과 창의성을 바탕으로, 데이터셋에 존재하는 feature들을 조작하는 것
  
• 위 그림처럼 2개의 feature가 있을 때, 2개를 조합하여 새로운 feature를 만들 수 있다.
• 통계분석, 머신러닝, 나아가 딥러닝까지 대부분의 분석은 데이터에 있는 패턴을 인식하고, 해당 패턴을 바탕으로 예측을 하기 때문에 더 좋은 퍼포먼스를 위하여 새롭고, 의미있는 패턴을 제공하는 것이 feature engineering의 궁극적인 목적이당.

Dataframe

• pandas의 dataframe에 대한 간단한 설명
  
  일반적으로
• 하나의 행에는 하나의 데이터(관측치)
• 하나의 열에는 하나의 feature를 저장할 것을 권장
• 이런 형태를 tidy형태라고 부르며, 다른 라이브러리들과의 호환성이 좋다.

Dataset

새로운 칼럼(feature)를 만들 때

import pandas as pd
df['new'] = df['old1'] + df['old2']

이런 식으로 기존에 있는 old1, old2 칼럼을 더해서 new라는 새로운 칼럼이 더해짐(오른쪽에 더해진다.)

칼럼들의 데이터 타입 보기

df.dtypes

• 결측치(NaN)은 프로그래밍 상 float으로 구분된다.

결측치들도 이런 차이가 있다. 더 자세한 건 구글링해보자.

String(문자형) 다루기

수치 중 '25,970'과 같이 적혀있는 건 숫자형이 아니고 str(object)로 구분된다.(쉼표가 있어서)
해서 이 쉼표를 없애줘서 25970으로 만든 후 숫자형으로 바꿔준다.

x = '25,970'
x = x.replace(',','') # ','(쉼표)를 ''빈칸으로 대체 -> 즉 쉼표를 없애주는 것과 같은 효과
x = int(x) # 앞에서 쉼표만 없애고 아직 문자형이다. 그래서 숫자형으로 변환.

위 과정을 함수로 편하게 쓰려면

def toint(string):
    return int(string.replace(',',''))

이런 식으로 써준다. 간단쓰~

Apply

자 그렇다면, 위와 같이 함수 정의해서 데이터에 적용하는 거 아주 좋다.
그런데! 이걸 각 데이터 값에 어떻게 적용해줄래???!!!

하나하나 할 수는 없다. column 단위로 해보자!!(feature별로 자료형이 같을테니)

df['하이'] = df['하이'].apply(toint)

이런식으로 해주면 된다! (apply 함수의 소중함쓰)