Jayden`s

[TIL]2.Feature Engineering

Feature Engineering 도메인 지식과 창의성을 바탕으로, 데이터셋에 존재하는 feature들을 조작하는 것 위 그림처럼 2개의 feature가 있을 때, 2개를 조합하여 새로운 feature를 만들 수 있다. 통계분석, 머신러닝, 나아가 딥러닝까지 대부분의 분석은 데이터에 있는 패턴을 인식하고, 해당 패턴을 바탕으로 예측을 하기 때문에 더 좋은 퍼포먼스를 위하여 새롭고, 의미있는 패턴을 제공하는 것이 feature engineering의 궁극적인 목적이당. Dataframe pandas의 dataframe에 대한 간단한 설명 일반적으로 하나의 행에는 하나의 데이터(관측치) 하나의 열에는 하나의 feature를 저장할 것을 권장 이런 형태를 tidy형태라고 부르며, 다른 라이브러리들과의 호환성..

[TIL]8.Confidence Intervals

ANOVA(one-way) 앞에서 원샘플 카이 : 1개 그룹의 평균이 특정 수와 같은지 투샘플 카이 : 2개 그룹의 평균이 유의미하게 다른지 2개 이상 그룹의 평균에 차이가 있는지를 가설 검정하는 방법에 대해서 배워보겠습니다. Multiple Comparison 2개 이상의 여러 그룹을 비교하기 위해서 이런 생각을 할 수 있다. 이론상으론 가능하지만 문제가 있다. 3번의 가설 검정에서 각각 통계적으로 에러가 날 확률은 α이다. 즉, 3개의 가설 검정 중 적어도 하나에서 에러가 날 확률은 1−(1−α)^3 이고 α=0.05 기준으로 약 15 % 입니다. 수학적으로 m개 그룹에 대한 가설 검정이라면 평균α = 1−(1−α)^m , 평균α ≤ m⋅α 라는 것이 수학적으로 증명되어 있습니다. 즉, 여러개를 하나..

[TIL]7.Hypothesis Test +

T-test + t-test는 그룹의 평균값에 대해서 비교하는 가설검정 방법 t-test를 사용하기 위해서는 몇가지 조건이 가정되어야한다. 독립성 : 두 그룹이 연결되어있는 쌍인지 등분산성 : 두 그룹이 어느정도 유사한 수준의 분산 값을 가지는지 정규성 : 데이터가 정규성을 나타내는지 (위의 조건들은 좀더 찾아서 보충할 것) 즉, t-test는 특정한 조건에서 그룹의 평균을 비교하기 위한 가설검정 방법 이러한 내용들을 확인하기 위한(데이터가 위의 조건들을 만족하는지 확인하기 위한) 가설검정 방법들이 scipy에 구현되어있다. 데이터의 정규성 확인 아래와 같이 데이터가 정규분포와 다른 양상을 보인다면? scipy.stats.normaltest from scipy import stats import nump..

[TIL]1.Exploratory Data Analysis(EDA)

데이터셋 불러오기 import pandas as pd pd.read_csv('') 데이터셋 간단하게 확인 첫번째부터 다섯번째 row 확인(실제 데이터를 대략 체크할 때 아주 자주 사용됨) 걍 시도때도 없이 사용됨 df.head() 데이터셋 모양 확인(df의 행과 열 갯수, 구조를 간단하게 튜플 보여줌) df.shape EDA(Exploratory Data Analysis) 아주 중요한 개념쓰 우리가 지인으로부터 생선 선물을 받았다. 이제 이걸 어떻게 할까. 쪄먹을까 탕해먹을까 아니면 풀어줄까 뭐 어떻게 할까 생선에 독은 없을까 먹을 수 없는 부분은 있나 생선이 맞긴 해? 요리하기 위한 여러 가정 ex)신선하면 회도 가능하다! 와 같이 데이터도 이리저리 결측치는 있는지, 뭐 데이터 크기는 어떤지, 칼럼별로..

[TIL]6.Hypothesis Test

Hypothesis Test 기술 통계치(descriptive Statistics)란 count, mean, standard dev, min, 1Q, median, 3Q, max 등의 데이터를 설명하는 통계치기술 통계치의 시각화 Boxplot Bagplot(가방처럼 생김, 난해해서 잘 쓰이진 않는다.) Violinplot(박스플롯에서 데이터 분포까지 보여준다. 개인적으로 가장 맘에 드는 플랏) 기술 통계치 보는 코드이외에도 Mode, Range, Var / SD, Kurtosis(첨도), Skewness(왜도) 등이 있다리~ df.describe() 추리 통계치(Inferential Statistics)란 Population, Parameter ,Statistics, Estimator, Standard ..