Hypothesis Test(가설검정)

• T-test를 사용할 수 있는 상황에 대해 설명하고, 그 상황에서 어떻게 가설을 세우는지 T-test의 전체적인 예시를 하나 설명해주세요.

어떠한 가설을 세웠는지
왜 이러한 가설을 세우게 되었는지
왜 T-test를 선택했는지

NBA와 NBA G(마이너리그)의 농구선수들의 키를 비교해보고싶습니다.
귀무가설(H0) : NBA 메이저 리그 선수들의 키와 마이너 리그 선수들의 키 평균은 차이가 없다.
대립가설(H1) : NBA 메이저 리그 선수들의 키와 마이너 리그 선수들의 키 평균은 차이가 있다.

일단 키 자체는 정규분포를 따르고, 농구선수들의 키에 따른 영향을 비교해보고싶었습니다.

보기의 상황을 읽고, A/B Test에 대해서 생각해 보세요.

💡 보기)

여러분은 그로스 해킹팀의 DA로 취직하였습니다.
만약 First Task로 유입률을 올릴 수 있는 방안을 생각해야 할 때,
AARRR 과정 중 어느 과정에서 어떠한 A/B Test를 시행하면 좋을까요?
정답은 없습니다. 자유롭게 대답해주세요.
(AAARR에 대해서 검색해 보시고 간단한 a/b test를 한번 설계해보세요.)

1.'AARRR'이란?
이 용어는 미국의 스타트업 엑셀러레이터인 500 Startups의 설립자인 데이브 맥클루어(Dave McClure)가 개발한 분석 프레임워크입니다. 스타트업은 아이디어를 바탕으로 서비스(상품)를 만드는 데 능숙하지만, 서비스를 효과적으로 사람들에게 알리고 사용자를 꾸준히 확보하기 위한 개선방법에 대해서는 고민이 많습니다. AARRR은 시장 진입 단계에 맞는 특정 지표를 기준으로 우리 서비스의 상태를 가늠할 수 있는 효율적인 기준이 됩니다. 수많은 데이터 중 현 시점에서 가장 핵심적인 지표에 집중할 수 있게 함으로써, 분석할 리소스(인력이나 시간)가 충분하지 않은 스타트업에게 매력적인 프레임워크라고 할 수 있습니다.
2. AARRR 단계별 핵심 지표
Acquisition : 어떻게 우리 서비스를 접하고 있는가
Activation : 사용자가 처음 서비스를 이용할 때 긍정적인 경험을 제공하는가
Retention : 이후의 서비스 재사용률은 어떻게 되는가
Referral : 사용자가 자발적 바이럴, 공유를 일으키고 있는가
Revenue : 최종 목적(매출)으로 연결되고 있는가
3.단계
가설 설정 -> 메트릭 정의 -> 실험 설계 -> 결과 도출

쿠팡의 예를 들었을 때, 쿠팡 앱 버튼 색깔을 A(기존 빨간색)에서 B(선호도 조사를 통해 고른 파란색)로 했을 때, 유입률을 비교해보고싶을 때 테스트를 설계할 수 있을 것 같습니다.

1. 가설설정

• 귀무가설 : 앱색깔이 빨간색일 때와 파란색일 때, 유입률에 차이가 없다.
• 대립가설 : 앱색깔이 빨간색일 때와 파란색일 때, 유입률에 차이가 있다.

2. 메트릭 정의

• 여기서는 모든 앱을 클릭하는 것을 유입률로 보기로 한다. 따라서 '앱 클릭수'가 메트릭이 됩니다.

3. 실험 설계

• 이건 단순하게 정말 앱의 색깔만 바꾸는 걸로!

4. 결과 도출

• 그러나 여기서 함정이 존재. 앱색깔 바꾸는 것은 실제로 동시에 적용하는 것은 불가능. 따라서 결과적으로 파란색일 때 클릭수가 늘었다고 해도, 쿠팡이라는 브랜드 자체가 시간적으로 점점 더 우연히 유명해져서 그런 것일 수도 있고 그 순간 경쟁업체가 하락하는 순간일 수도 있고 한계가 존재하긴 한다.