Теорема Байеса

Теорема Байеса связывает условные вероятности, позволяя обращать направление обусловливания:

$P(A \mid B) = \frac{P(B \mid A) P(A)}{P(B)}$

Зная априорную вероятность $P(A)$ (ваше убеждение до получения свидетельства) и правдоподобие $P(B \mid A)$, вычисляют апостериорную вероятность $P(A \mid B)$ — обновлённое убеждение после наблюдения $B$.

Классический пример с медицинским тестом: распространённость болезни 1 %, чувствительность теста 99 %, доля ложноположительных результатов 1 %. Вероятность болезни при положительном тесте:

$\frac{0.99 \cdot 0.01}{0.99 \cdot 0.01 + 0.01 \cdot 0.99} = \frac{1}{2}$

Несмотря на точность теста 99 %, положительный результат означает лишь 50 % вероятность болезни — потому что болезнь редка. «Ошибка базовой ставки» (забывание об априорной вероятности) — самая распространённая ошибка при использовании теоремы Байеса.

Теорема Байеса лежит в основе байесовского вывода, наивных байесовских классификаторов, спам-фильтров и судебно-экспертных рассуждений.