[TIL]1.Exploratory Data Analysis(EDA)

데이터셋 불러오기

import pandas as pd
pd.read_csv('')

데이터셋 간단하게 확인

첫번째부터 다섯번째 row 확인(실제 데이터를 대략 체크할 때 아주 자주 사용됨) 걍 시도때도 없이 사용됨

df.head()

데이터셋 모양 확인(df의 행과 열 갯수, 구조를 간단하게 튜플 보여줌)

df.shape

EDA(Exploratory Data Analysis) 아주 중요한 개념쓰

우리가 지인으로부터 생선 선물을 받았다. 이제 이걸 어떻게 할까. 쪄먹을까 탕해먹을까 아니면 풀어줄까 뭐 어떻게 할까

 

• 생선에 독은 없을까
• 먹을 수 없는 부분은 있나
• 생선이 맞긴 해?
• 요리하기 위한 여러 가정 ex)신선하면 회도 가능하다!
  와 같이 데이터도 이리저리 결측치는 있는지, 뭐 데이터 크기는 어떤지, 칼럼별로 무슨 자료형인지 등등 샅샅히 파악하는 것
  이게 탐색적 데이터 분석! 우리가 처음 데이터를 받으면 이 데이터에 대한 견적을 내야한다. 이게 곧 EDA이다.

Graphic 방법

• 차트 혹은 그림 등을 이용하여(시각화를 통하여) 데이터를 확인하는 방법

Non-Graphic 방법

• 시각적인 요소가 아닌 주로 Summary Statistics를 통해 데이터를 확인하는 방법

  df.describe()

동시에 EDA의 타겟 데이터에 따라 Univaraite, Multi-variate 2가지로 나누어진다.

즉, 조합이 2x2로 4가지

Uni-Graphic

Histogram, Pie chart, Boxplot, QQplot 등이 있다.
QQplot : 데이터의 분포와 이론상 분포가 잘 일치하는가를 확인할 수 있는 방법
ex) 성적 분포가 어디가 더 고른가
A반 : 10, 20, 30, 40, 50, 60, 70, 80, 90, 100
B반 : 10, 15, 20, 75, 80, 85, 90, 95, 95, 100

 

이외에 다른 QQplot

Uni-NonGraphic

Sample Data의 Distribution을 확인하는 것이 주목적
Numeric data의 경우 summary statistics를 제일 많이 활용하는데, 여기에는

Center (Mean, Median, Mod)
Spread (Variance, SD, IQR, Range)
Modality (Peak)
Shape (Tail, Skewness, Kurtosis)
Outliers

등이 있다.

Multi-Graphic

• Category&Numeric : Boxplots, Stacked bar, Parallel Coordinate, Heatmap 등
  
  
  
  
  
• Numeric&Numeric : Scatter Plot
  
  

pandas를 사용한 기초 EDA

유용한 애들(자주 쓰는 애들)

Missing Data(결측치)

• isna
• dropna
• fillna

Data Frame(데이터 구조 파악)

• index
• columns
• dtypes
• info
• loc
• iloc
• head
• replace
• describe
• shape

Visible(시각화할 때)

• plot
• plot.bar
• plot.hist
• plot.box
• plot.pie
• plot.scatter

시각화시 <matplotlib.~> 없애는 법

끝에 ; 를 붙여준다.

한글 폰트 나오게 하는 법

먼저 한글 폰트를 받고

!sudo apt-get install -y fonts-nanum
!sudo fc-cache -fv
!rm ~\.cache\matplotlib -rf

글꼴을 설정해준다.

import matplotlib.pyplot as plt
plt.rc('font', family='NanumBarunGothic')

Data Preprocessing

• 안좋은 데이터가 들어가면 아무리 모델이 좋아도 안좋은 결과가 나온다.
  

데이터 혹은 분석, 작업마다 해야하는 데이터의 전처리는 다르지만 크게 아래와 같은 흐름을 갖는다.

Cleaning

• noise를 제거하거나, inconsistency를 보정하는 과정을 의미

Missing Values 처리 방법

• 그냥 삭제
• 수동으로 입력
• global constant(그냥 값을 정해서 넣는 것)
• Imputation(평균, 중앙값, 회귀를 통한 값을 넣음)

Noisy data

큰 방향성에서 벗어난 random error 혹은 variance 등을 포함하는 데이터
대부분 descriptive statistics 혹은 visualization 등의 eda를 통해 제거 가능

Integration

여러 개로 나뉘어진 데이터들을 분석하기 편하게 하나로 합치는 과정
ex) merge

Transformation

데이터의 형태를 변환하는 작업으로, scaling이라고 부르기도 합니다.
ex) normalize

Reduction

데이터를 의미있게 줄이는 것을 의미하며, dimension reduction과 유사한 목적을 갖는다.
ex) PCA