[TIL]7.Hypothesis Test +

T-test +

t-test는 그룹의 평균값에 대해서 비교하는 가설검정 방법
t-test를 사용하기 위해서는 몇가지 조건이 가정되어야한다.

• 독립성 : 두 그룹이 연결되어있는 쌍인지
• 등분산성 : 두 그룹이 어느정도 유사한 수준의 분산 값을 가지는지
  
• 정규성 : 데이터가 정규성을 나타내는지
  

(위의 조건들은 좀더 찾아서 보충할 것)

즉, t-test는 특정한 조건에서 그룹의 평균을 비교하기 위한 가설검정 방법
이러한 내용들을 확인하기 위한(데이터가 위의 조건들을 만족하는지 확인하기 위한) 가설검정 방법들이 scipy에 구현되어있다.

데이터의 정규성 확인

아래와 같이 데이터가 정규분포와 다른 양상을 보인다면?

scipy.stats.normaltest

from scipy import stats
import numpy as np

sample = np.random.poisson(5, 1000) # normal 분포가 아닌  포아송 분포를 예로 테스트해보자
stats.normaltest(sample)

NormaltestResult(statistic=20.30705116357633, pvalue=3.89385583211646e-05)
즉 p-value가 매우 작음(<0.05). 귀무가설인 'sample은 정규분포이다.' 가 기각

반면

sample2 = np.random.normal(size = 1000) # normal 분포로 예시
stats.normaltest(sample2)

NormaltestResult(statistic=1.1197351139362957, pvalue=0.5712847215191075)
p-value>0.05이므로 귀무가설을 기각할 수 없다.

가설 검정하는 방법은 정말 수 없이 많다.

Non-Parametric Methods(비모수적 방법, Distribution free method라고 부르기도 한다.)

위에선 특정 분포를 따른다고 두고 테스트한 것이라면, 모집단이 특정 확률 분포를 따른다는 전제를 하지 않는 방식

• Categorical 데이터를 위한 모델링
• 극단적 outlier가 있는 경우 매우매우 유효한 방식
• 표본 갯수가 적을 때 사용한다.(보통 n(표본 수)>30이어야 모수적 검정이 유용하다. 10<n<30 일 땐, 정규성 검점을 통해 정규 분포로 간주 되는 경우만 모수적 추정 가능
  ex) Chisquare, Spearman correlation(알아두면 좋음) 등

X(chi, 카이)^2 Tests(약간 단순하게 카이 제곱 즉, 분산과 관련된 것)

categorical data(qualitative data)에 사용한다.(횟수 데이터)

One sample 카이제곱 검정(귀무가설을 뭘로 두는 검정인지를 잘 보자)

주어진 데이터가 특정 예상되는 분포와 동일한 분포를 나타내는지에 대한 가설검정

 

이렇게 카이제곱 값을 구하고 이것을 p-value로 환산해줘야한다.

• 카이제곱값은 단순히 데이터 크기가 커질수록 커진다. 즉, 숫자의 의미를 해석할 기준이 모호함. 따라서 표준화된 값이 필요
  
• 원래는 환산해주는 표를 보는데, scipy를 통해 전환할 수 있다.
  

from scipy import stats
1 - stats.chi2.cdf(x2, df) # df는 degrees of freedom(자유도)

이 때, 1에서 빼주는 것 잊지말고(총넓이 1에서 해당하는 영역을 누적분포 넓이로 빼준거니까)
여기서 아주 중요한 '자유도'라는 개념

자유도

아이스크림 메뉴가 7개이고 내가 '일주일동안 하나씩 먹어야지'라고 규칙을 세웠을 때
자유도는 6 이 된다. 왜냐하면 월~토까지는 내가 골라서 먹을 수 있는데, 일요일은 자연스레 남은 거 하나 고르게 됨
즉, 자유도는 '해당 parameter'를 결정짓기 위한 독립적으로 정해질 수 있는 값의 수

다시 돌아와서

import numpy as np
from scipy.stats import chisquare  

s_obs = np.array([[18, 22, 20, 15, 23, 22]]) # Similar

chisquare(s_obs, axis=None) # One sample chi-square

Power_divergenceResult(statistic=2.3000000000000003, pvalue=0.8062668698851285)
참고로 statistic이 카이제곱값이다.

또한, scipy를 안쓰고 exp 도 array로 만들어서 위의 카이제곱식에 대입해서 구하는 방법도 있다.(쪼꼼 노가다)
그 다음 카이제곱값을 통해 p-value를 얻는다.(사실 이 때 scipy 쓰게 되긴 함. 근데 이것도 엄밀히 환산표 쓸 수도 있긴하다.)

Two sample 카이제곱 검정(마찬가지로 귀무가설을 뭐로 두는지)

개인적으로 투샘플을 코딩을 하는 방법보다, 개념적으로 원샘플과 차이를 알자!!!

• one-sample (적합도 검정 시) -> 얘는 하나의 샘플에 대해 obs와 exp를 비교하는 것, DF = # categories-1
• two-sample (독립성 검정 시) -> 얘는 두 샘플에 대해서 독립적인 exp 배열을 만들고 obs 배열과 비교함으로써 귀무가설이 기각되지않는다면 obs 배열이 어느정도 exp 배열(독립적인 배열)로 생각할 수 있다 라는 개념, DF = (#행 - 1)*(#열 - 1)

위의 개념은 아주아주 중요하다!!!(내 개인적인 느낌상 ㅎㅁㅎ)

## 2 sample chi square test

from scipy.stats import chi2_contingency

print(chi2_contingency(obs)) 

scipy를 이용하면 이런 식이고 값이 이렇게 출력됨
(0.0013946280991735537, 0.9702101490749658, 1, array([[ 8.96296296, 2.03703704],
[13.03703704, 2.96296296]]))
1번 : 카이제곱, 2번 : p-value, 3번 : 자유도, 4번 : exp 값, 즉 독립적일 때의 배열 모양

보너스 Type of Error

• 제1종 오류 : 귀무가설이 참인데, 귀무가설이 기각된 경우 -> 외우기 편하게, (참인데 기각o)
• 제2종 오류 : 귀무가설이 거짓인데, 귀무가설이 기각되지 않은 경우 -> (거짓인데 기각x)