Наивная теорема Байеса

Понимание наивной теоремы Байеса

Наивная теорема Байеса

Наивная теорема Байеса – это метод классификации, основанный на теореме Байеса с предположением о независимости предикторов. Проще говоря, наивный байесовский классификатор предполагает, что наличие определенного признака в классе не связано с наличием какого-либо другого признака.

Например, фрукт может считаться яблоком, если он красный, круглый и диаметром около 3 дюймов. Даже если эти признаки зависят друг от друга или от существования других признаков, все эти свойства независимо влияют на вероятность того, что этот фрукт является яблоком, поэтому он известен как ' >Наивный».

Давайте разберемся с некоторыми ключевыми понятиями, связанными с Наивной теоремой Байеса.

Условная вероятность

Условная вероятность определяется как вероятность наступления события или исхода, основанная на наступлении предыдущего события или исхода. Условная вероятность рассчитывается путем умножения вероятности предыдущего события на обновленную вероятность последующего или условного события.

Сходным образом,

Теорема Байеса

Теорема Байеса описывает вероятность события, основанную на предварительном знании условий, которые могут быть связаны с этим событием. Теорема Байеса позволяет пересмотреть существующие прогнозы или теории (обновить вероятности) с учетом новых или дополнительных данных.

Из условной вероятности мы знаем,

Кроме того, по закону вероятности вероятность того, что события А и В произойдут, равна вероятности того, что произойдут оба события В и А.

So,

Поэтому,

Математика

Предположим, у нас есть набор данных, как описано здесь,

По теореме Байеса получаем,

Теперь вывод приведенного ниже уравнения будет постоянным для любого результата, т. Е. Всегда будет давать одно и то же значение.

Итак, мы можем сказать,

Окончательно,

Это означает, что выход (y) будет значением наибольшего результата уравнения.

Пример

Давайте разберемся с концепцией на примере.

Бинарная классификация

Здесь у нас есть обучающий набор данных Outlook, Temperature и соответствующая целевая переменная «Play» (предполагающая возможности игры). Теперь нам нужно классифицировать, будут ли игроки играть или нет, в зависимости от погодных условий.

Набор данных

Проблема: будут ли игроки играть сегодня, если на улице солнечно, а температура жаркая?

Мы можем решить эту задачу, используя метод апостериорной вероятности.

Сегодня

Мы можем подготовить «Сегодня» как запись с функцией «Прогноз» как «Солнечно» и «Температура» как «Жарко».

Игра

Согласно теореме Байеса,

Согласно наивной теореме Байеса

После подстановки значений получаем,

Не играю

Согласно теореме Байеса,

Согласно наивной теореме Байеса

После подстановки значений получаем,

Теперь, если мы заметим, что сумма приведенных выше вероятностей не равна 1.

Мы хотим, чтобы сумма наших вероятностей равнялась 1. Для этого мы можем просто нормализовать наши вероятности.

И,

Поскольку вероятность Нет выше, чем вероятность Да, мы можем сделать вывод, что игроки сегодня не будут играть.

Нам не обязательно нормализовать вероятность, так как мы можем сделать вывод непосредственно из исходной вероятности о том, будет ли выход Да (0,031) или Нет (0,085).

Текстовая классификация

Наивный Байес также очень полезен в НЛП. Специально для классификации текста или анализа настроений. Немного модифицируем уравнение условной вероятности для задачи классификации текста.