💿 Data

[TIL]4.Basic Derivative

목표 최적와와 미분의 관계 미분, 편미분, Chain Rule의 차이를 이해 도함수(미분)을 파이썬으로 직접 구현 및 scipy 라이브러리를 활용 미분(Derivative) 그림을 보면 우리가 계산하고자 하는 것은 Δx가 한없이 0에 가까워질 때의 기울기 특정한 파라미터 값 (input, x)에 대해서 나오는 결과값(output, y)이 변화하는 정도를 (0에 가까운 부분을 찾기 위해) 계산하는 것. 미분과 데이터 사이언스는 무슨 상관이 있나? 아래와 같은 데이터 분포가 있을 때, 그 분포를 가장 잘 설명해주는 하나의 선을 그린다고 생각해보자. y-hat=b+aX (a:기울기, b:y절편, y-hat:예측값, x:데이터) cf) 보통 실제값은 그냥 y로 표현한다. 주어진 데이터 X를 넣었을 때, 모델이 ..

[TIL]3.Data Manipulation(개인적으로 잘 알아야 된다고 느꼈던 부분)

목표 pandas를 통해 데이터를 concat/merge하기 tidy 데이터에 대한 개념 이해 melt와 pivot/pivot_table 함수를 사용하여 wide와 tidy 형태의 데이터를 서로 변환할 수 있다. Pandas로 데이터 합치기 주가 데이터를 예로 들면, 종목별 데이터와 어떤 데이터가 어떤 종목을 의미하는지 설명하는 description 데이터로 나누어 질 수 있다. 효과적으로 데이터 분석을 하기위해서는 여러 개의 파일을 하나로 합쳐야한다!!! 여러 가지 방법 중 2가지를 소개해보겠당 Concat(concatenate) 간단하게 '더한다' 혹은 '붙인다'라는 의미로 생각하면 이해가 편하다. 문자형 붙이는 느낌 '문자를' + '붙여요' == '문자를붙여요' 뜬금없지만 문자형을 다루는 방법은 여..

[TIL]2.Feature Engineering

Feature Engineering 도메인 지식과 창의성을 바탕으로, 데이터셋에 존재하는 feature들을 조작하는 것 위 그림처럼 2개의 feature가 있을 때, 2개를 조합하여 새로운 feature를 만들 수 있다. 통계분석, 머신러닝, 나아가 딥러닝까지 대부분의 분석은 데이터에 있는 패턴을 인식하고, 해당 패턴을 바탕으로 예측을 하기 때문에 더 좋은 퍼포먼스를 위하여 새롭고, 의미있는 패턴을 제공하는 것이 feature engineering의 궁극적인 목적이당. Dataframe pandas의 dataframe에 대한 간단한 설명 일반적으로 하나의 행에는 하나의 데이터(관측치) 하나의 열에는 하나의 feature를 저장할 것을 권장 이런 형태를 tidy형태라고 부르며, 다른 라이브러리들과의 호환성..

[TIL]8.Confidence Intervals

ANOVA(one-way) 앞에서 원샘플 카이 : 1개 그룹의 평균이 특정 수와 같은지 투샘플 카이 : 2개 그룹의 평균이 유의미하게 다른지 2개 이상 그룹의 평균에 차이가 있는지를 가설 검정하는 방법에 대해서 배워보겠습니다. Multiple Comparison 2개 이상의 여러 그룹을 비교하기 위해서 이런 생각을 할 수 있다. 이론상으론 가능하지만 문제가 있다. 3번의 가설 검정에서 각각 통계적으로 에러가 날 확률은 α이다. 즉, 3개의 가설 검정 중 적어도 하나에서 에러가 날 확률은 1−(1−α)^3 이고 α=0.05 기준으로 약 15 % 입니다. 수학적으로 m개 그룹에 대한 가설 검정이라면 평균α = 1−(1−α)^m , 평균α ≤ m⋅α 라는 것이 수학적으로 증명되어 있습니다. 즉, 여러개를 하나..

[TIL]7.Hypothesis Test +

T-test + t-test는 그룹의 평균값에 대해서 비교하는 가설검정 방법 t-test를 사용하기 위해서는 몇가지 조건이 가정되어야한다. 독립성 : 두 그룹이 연결되어있는 쌍인지 등분산성 : 두 그룹이 어느정도 유사한 수준의 분산 값을 가지는지 정규성 : 데이터가 정규성을 나타내는지 (위의 조건들은 좀더 찾아서 보충할 것) 즉, t-test는 특정한 조건에서 그룹의 평균을 비교하기 위한 가설검정 방법 이러한 내용들을 확인하기 위한(데이터가 위의 조건들을 만족하는지 확인하기 위한) 가설검정 방법들이 scipy에 구현되어있다. 데이터의 정규성 확인 아래와 같이 데이터가 정규분포와 다른 양상을 보인다면? scipy.stats.normaltest from scipy import stats import nump..