Bayesian Statistics(베이즈주의) vs Frequentist statistics(빈도주의)

- Bayesian statistics와 Frequentist statistics의 차이점에 대해 생각해보고, 데이터 분석 시 언제, 어느 것을 사용해야 효율적인지 논해보세요.

1. 베이즈주의

조건부 확률을 이용하여
$$ P(A|B) = P(B|A) * P(A) / P(B) $$

여기서 A를 H(가설), B를 새로운 데이터 D라고 가정
$$ P(H|D) = P(D|B) * P(H) / P(E) $$
와 같은 식이 나온다.
여기서 $$P(H)$$ 는 사전확률로 D라는 데이터를 알기 전 가설에 대한 확률값(흔히 통념적으로 적용되는 값)
$$P(D|H)$$는 가능도(Likelihood ; 우도)로 해석하자면 '어떤 가설 H가 맞다고 가정했을 때, 데이터 D가 나올 확률'입니다.
즉, 우리가 사전 확률 및 가능도를 알면 $$P(H|D)$$ 사후 확률을 계산할 수 있습니다.

• 가설과 데이터에 대한 확률을 모두 사용
• 관찰된 데이터의 가능도 및 사전 확률에 의존한다.
• 사전 확률은 일반적인 통념이 적용될 수도 있지만, 그렇지 않은 경우 주관적으로 설계될 수 있다.
• 점차 데이터의 양이 늘어나고 이를 처리할 수 있는 하드웨어 및 소프트웨어가 발달함에 따라 '통념적으로 적용하던 사전 확률 분포'를 추출해낼 수 있게 되면서 머신러닝 및 딥러닝에서 굉장히 잘 쓰이고 있습니다.

기술적으로 '사전가설'(prior)과 '가능도'(likelihood)(데이터값; 관측값)를 사용한다.

2. 빈도주의

빈도주의는 좀더 간단하게 설명하자면 위의 베이즈주의와 다르게 기술적으로 가능도 만을 따진다.
단순하게 우리가 육면체 주사위를 계속 반복적으로 던지면서 각 숫자가 나올 확률을 1/6이라고 생각하는 것

기술적으로 '가능도'(likelihood)(데이터값; 관측값))에만 의존한다.

---

베이즈주의는 빈도주의를 보완할 수 있다고 알려져있다. 다만, 요즘같이 데이터의 확보가 비교적 용이하고 데이터의 규모가 커진 세상에선 사실상 베이즈주의와 빈도주의의 값이 크게 차이나지 않는다.

왜냐하면 데이터의 규모가 커질수록 베이즈주의가 따지는 '사전가설'의 영향이 적어지기 때문이다.

이 말을 다시하면, 데이터가 적을 때는 빈도주의 방법이 적용하기 어려울 수 있다.
예를 들어, 주사위를 단 한번만 던질 수 있다면 우리는 정확히 빈도주의적으로 확률이 1/6이라고 말할 수 없을 것이다.

이 때, 베이즈주의는 사전가설에 대해(이 때 사전가설은 '주사위는 정확한 육면체를 가진다' 등의 통념이 될것) 그러면 우리가 많이 굴려보지않아도 '아 확률이 1/6이겠구나' 알 수 있는 것!

이론에 입각해서 극단적으로 두 학파의 반응을 비교해보면

주사위를 10번 굴렸는데 계속 1이 나온 경우

• 베이즈주의 : 어차피 주사위는 완벽히 육면체니까 어차피 확률은 1/6이야~ 1 연속 10번 나와도 괜찮아~
• 빈도주의 : 어 뭐지 왜 10번했는데 계속 1이 나오지...?(불안) 더 해봐야해!!! 계속 굴려보자!!

이런 느낌의 차이라고 이해하면 그나마 둘의 차이에 대한 느낌이 오는 거 같다.