[TIL]45.8_Section1_sprint2_개인복습(주말)

Section1_sprint2(중요하게 개념 잡고가야할 통계 파트)

기술 통계 : 평균, 분산, 표준편차 등등 수집한 데이터를 설명 및 묘사하는 통계
추리 통계 : 수집한 데이터를 바탕으로 추론/예측하는 통계 ex) 설문조사를 통한 득표율 예측

샘플링 방식 여러가지

가설 검정 : 주어진 상황에 대해 하고자하는 주장이 맞는지 아닌지 판정하는 과정

• 모집단에 대한 표본집단의 통계치가 유의한지 아닌지 여부 결정

Student T-test

• One sample T-test귀무가설(H0) : 표본집단의 평균 = 어떤 특정 값
  대립가설(H1) : 표본집단의 평균 != 어떤 특정 값

from scipy.stats import ttest_1samp

p-value : 주어진 가설에 대해 '얼마나 근거가 있는지'를 나타낸 값 -> 귀무가설이 틀리지 않았을 확률

• Two sample T-test귀무가설(H0) : 표본집단 A 의 평균 = 표본집단 B 의 평균
  대립가설(H1) : 표본집단 A 의 평균 != 표본집단 B 의 평균

from scipy.stats import ttest_ind

t-test의 3가지 조건

1. 독립성
2. 정규성 -> 보통 qqplot 혹은 normaltest로 검증
3. 등분산성

추가)

• one side(tail) test : 샘플 데이터 평균이 A보다 크다/작다 검증
• two side(tail) test : 샘플 데이터 평균이 A와 같다/아니다 검증

X^2 test(카이제곱 검증, categorical data에 사용)

• One sample X2-test귀무가설(H0) : 표본집단의 분포가 고르게 분포한다. ex) 주사위 60번 던졌을 때, 각 숫자가 정확히 10번씩 나오는 분포
  대립가설(H1) : 분포가 고르지 않다.

from scipy.stats import chisquare

• Two sample X2-test귀무가설(H0) : 표본집단 A 와 표본집단 B가 독립이다.
  대립가설(H1) : 표본집단 A 와 표본집단 B는 독립이 아니다.(즉, 연관이 있다.)

from scipy.stats import chi2_contingency

추가)
categorical data를 다루기 위해

df[['A', 'B']].astype('category') # A와 B 컬럼의 자료형을 category로 바꿈
pd.crosstab(df['A'], df['B']) # A와 B 컬럼의 범주에 따른 관측치 수를 하나의 표로 만들어줌

# 위 두가지 기억

F-value

• 그룹 간 분산 / 그룹 내 분산
• 즉, 'F값이 크다' -> 그룹 간 분산은 크고, 그룹 내 분산은 작다. 즉, '그룹끼리 차이가 존재한다.'를 의미

from scipy.stats import f_oneway

-> ANOVA TEST(독립변수 수에 따라 one way, two way가 있음)

귀무가설(H0) : 각 그룹의 차이가 없다.
대립가설(H1) : 각 그룹의 차이가 적어도 하나 있다.

큰 수의 법칙 : sample 수가 증가할수록 모집단과 같아진다. 보통 샘플 30개를 기준으로 잡음
중심극한정리(Central Limit Theorem ; CLT) : 동일한 확률분포를 가진 독립 확률 변수 n개의 평균의 분포는 n이 적당히 크다면 정규분포에 가까워진다는 정리, 즉 여러 sample의 평균이 정규분포에 가까워진다는 뜻

추정(estimate)

• 점 추정(point estimate) : ex) 우리나라 남성 평균 키는 175cm일 것이다.
• 구간 추정(interval estimate) : ex) 우리나라 남성 평균 키는 170 ~ 180cm 정도일 것이다.

신뢰도

• 신뢰도 95%의 의미 : 표본을 100개 뽑았을 때 95개가 신뢰구간 내에 포함된다.

베이지안

• 핵심 : 가설을 업데이트 한다는 것

P(B) = P(B|A) * P(A) + P(B|A^c) * P(A^c)

위 2가지 공식 이해 및 기억

그리고 베이지안 문제를 해결할 때는 반드시 네모 그려서 실제 확률 및 조건부 확률 표시해가면서 생각하자!

 

추가)
몬티홀 정리도 베이지안으로 해결이 되는 것 기억하자!