Machine Learning: a Probabilistic Perspective(https://probml.github.io/pml-book/book0.html)을 읽고 정리한다.
"동전을 던졌을 때 앞면이 나올 확률은 0.5이다."를 빈도주의적 관점과 베이지안 관점에서 해석해보자.
빈도주의적(frequentist) 관점으로 보면 동전을 많이 던졌을 때 절반만큼 앞면이 나올 것으로 기대한다고 해석할 수 있다.
베이지안(Bayesian) 관점으로 보면, 동전을 다음 번에 던졌을 때 앞면 또는 뒷면이 나올 가능성은 같다고 해석할 수 있다. 베이지안 관점은 불확실성(uncertainty)를 정량화한다고 말한다. 베이지안 해석의 장점은 장기적인 관점에서 빈도를 가지지 않는 사건에 대한 불확실성을 모델링할 수 있다는 점이다. 예를 들자면, 극지방의 얼음이 녹을 확률을 계산한다든지. 얼음이 녹는 사건은 일어나던지 일어나지 않던지 둘 중 하나이며, 빈도를 가지고 반복적으로 일어날 수는 없는 사건이지만 이러한 불확실성을 정량화해서 확률로 나타낼 필요는 있다.
어떠한 관점으로 해석하던지 확률 이론의 기본 규칙은 모두 적용된다.
2. Probability theory
- 결합 확률(joint probabilities)
$$p(A, B) = p(A|B)p(B)$$
이를 곱법칙(product rule)이라 한다. 두 개의 사건에 대한 결합 분포(joint distribution) $p(A, B)$가 주어졌을 때, 주변 분포(marginal distribution)은 다음과 같다.
$$p(A) = \displaystyle\sum_{b}p(A, B) = \displaystyle\sum_{b}p(A|B = b)p(B = b)$$
여기서 가능한 $B$에 대해 모두 합을 구한다.
곱 법칙을 여러번 적용해 chain rule을 만들 수 있다.
- 조건부 확률(conditional probability)
$$p(A|B) = \frac{p(A, B)}{p(B)}$$
- 베이즈 법칙(Bayes rule, Bayes Theorem)
$$p(X = x | Y = y) = \frac{p(X = x, Y = y)}{p(Y = y)} = \frac{p(X = x)p(Y = y | X =x)}{\sum_{x'}p(X = x')p(Y = y | X = x')}$$
베이즈 이론 예: 의학 진단
검사 결과가 양성일 때, 병에 걸렸을 확률은? 즉 검사 결과가 얼마나 믿을 만한가. 시험이 80%의 sensitivity를 가진다고 할 때, 즉 병에 걸렸을 때, 검사 결과가 양성일 확률이 0.8이라고 하면,
$$p()$$
댓글