Условная вероятность и теорема Байеса просто объяснены

Простое объяснение условной вероятности и теоремы Байеса

Условная вероятность и теорема Байеса – это фундаментальные идеи в статистике, о которых даже неспециалисты слышали. Теорема Байеса также порождает отдельное направление статистики – байесовский вывод.

В Data Science мы в основном работаем в мире частотной статистики, и я считаю, что мы не полностью осознаем байесовские принципы.

В следующих статьях я надеюсь осветить некоторые темы в байесовской статистике, чтобы углубить свое понимание и передать его в доступной форме!

• Ориентирование в названиях должностей в области науки о данных аналитик данных против ученого данных против инженера данных
• Традиционное машинное обучение все еще актуально?
• 5 бесплатных университетских курсов по аналитике данных

В этой статье мы рассмотрим две основные идеи в байесовской статистике: условную вероятность и теорему Байеса.

Маргинальная вероятность

Первый шаг – определить маргинальную вероятность. Это понятие часто усложняется, но на самом деле является очень простым.

Маргинальная вероятность – это то, о чем люди говорят, когда говорят о вероятности. Это просто вероятность наступления определенного события. Например, маргинальная вероятность выпадения орла, P(H), на монете просто равна 0.5:

Формула сгенерирована автором в LaTeX.

Маргинальная вероятность вытянуть бриллиант, P(D), из колоды карт равна 0.25:

Формула сгенерирована автором в LaTeX.

Это на самом деле так просто!

Совместная вероятность

Давайте пойдем дальше и рассмотрим вероятность выпадения двух орлов. Это называется совместной вероятностью, так как включает в себя два события.

Чтобы решить эту задачу, мы можем просто перечислить возможные исходы при подбрасывании двух монет: {H,H}, {H,T}, {T,H}, {T,T}. Следовательно, вероятность выпадения двух орлов равна 0.25:

Формула сгенерирована автором в LaTeX.

Где символ ∩ означает пересечение, что по существу означает ‘и’. Таким образом, приведенное выше уравнение спрашивает, какова вероятность того, что и орел, и орел будут выпадать.

В этом случае совместная вероятность равна произведению двух маргинальных вероятностей, так как два события (подбрасывания монет) независимы (результат одного подбрасывания не влияет на результат другого подбрасывания).

Еще одно важное свойство – совместные вероятности коммутативны, что означает:

Формула сгенерирована автором в LaTeX.

Это будет полезно при выводе теоремы Байеса!

Условная вероятность

Условная вероятность – это когда мы определяем вероятность ‘данного’ условия/события. Пример лучше объяснит это:

Какова вероятность выбора 3х бубновых карт из колоды, исходя из того, что мы выбрали красную карту?

Итак, вероятность выбора 3х бубновых карт, P(3Д), равна:

Уравнение, созданное автором в LaTeX.

А вероятность выбора красной карты, P(К), равна:

Уравнение, созданное автором в LaTeX.

Таким образом, вероятность выбора 3х бубновых карт, исходя из наличия красной карты, P(3Д | К), будет равна:

Уравнение, созданное автором в LaTeX.

Другим способом можно представить это так: из всех красных карт, каковы шансы выбора 3х бубновых карт? По сути, у нас есть подмножество данных, из которых мы выбираем 3х бубновых карт.

Официальное математическое определение для двух событий А и В:

Уравнение, созданное автором в LaTeX.

Таким образом, в нашем случае у нас есть P(A) = P(3Д) и P(B) = P(K). Подставив эти вероятности в уравнение, мы получаем вероятность 1/26.

Теорема Байеса

Перегруппировав условное уравнение вероятности, получим:

Уравнение, созданное автором в LaTeX.

Затем, заменив условную формулу снова (помните, что совместные распределения коммутативны):

Уравнение, созданное автором в LaTeX.

И затем перегруппировав:

Уравнение, созданное автором в LaTeX.

Что является теоремой Байеса!

Теорему можно разделить на следующие составляющие:

• P(A) называется априорной вероятностью, то есть тем, во что мы верим до наблюдения наших данных. Это предельная вероятность данного события.
• P(B) – вероятность наблюдения данных/события отдельно. Это предельная вероятность данного события. Иногда ее называют нормализующей константой.
• P(B|A) – вероятность, исходя из наших “убеждений”, которая называется правдоподобием.
• P(A|B)– постериорная вероятность, то есть вероятность нашего “убеждения” после наблюдения наших данных.

Сейчас это может показаться немного произвольным, но мы рассмотрим пример, чтобы сделать эту теорию более конкретной.

Закон об общей вероятности

Последняя формула, о которой мы поговорим, –  Закон полной вероятности:

Формула, созданная автором в LaTeX.

Можно мыслить об этой сумме двумя различными способами:

• Сумма всех перекрывающихся областей А покрывает В.
• Взвешенное среднее А на В

Здесь есть потрясающий обмен статистикой, который объясняет интуицию этой формулы!

Пример

Теперь рассмотрим пример задачи по теореме Байеса в действии!

Допустим, у меня есть две колоды карт: одна обычная колода, D_1 , и другая – колода только с красными картами (бубны и черви), D_2 .

Я случайным образом выбираю колоду и вытаскиваю тройку бубей (3B). Какова вероятность того, что эта тройка бубей взята из обычной колоды ( D_1 )?

Давайте начнем с определения априорных вероятностей случайного выбора колоды 1, P(D_1) , или колоды 2, P(D_2). Они просто 50-50, потому что это случайно:

Формула, созданная автором в LaTeX.

Теперь давайте рассчитаем вероятности:

Формула, созданная автором в LaTeX.

Во второй колоде есть только красные карты, поэтому в ней 26 карт, и тройка бубей – одна из них.

Затем мы рассчитываем вероятность наблюдения тройки бубей, используя Закон полной вероятности:

Формула, созданная автором в LaTeX.

Совмещаем все это с использованием теоремы Байеса:

Формула, созданная автором в LaTeX.

Это вероятность вытаскивания тройки бубей из колоды 1!

Интуитивно эта вероятность имеет смысл, так как мы в два раза более вероятно выбираем тройку бубей из второй колоды.

Заключение

В этой статье мы прошли этапы понимания концепций условной вероятности и теоремы Байеса:

• Маргинальная вероятность – это вероятность того, что событие просто произойдет
• Совместная вероятность – это вероятность двух событий
• Условная вероятность – это вероятность того, что событие произойдет при условии, что произошло другое событие
• Теорема Байеса – альтернативная версия формулы условной вероятности, где у нас есть некоторая предварительная информация для расчета условной вероятности события.

Статья первоначально опубликована здесь. Размещено с разрешения.