На прошлой неделе я провел вебинар о применении наивного байесовского классификатора к записям анализа рисков HAZOP:

У меня есть очень интересный вопрос об обучении наивного байесовского классификатора с записями HAZOP фармацевтических промышленных предприятий. Данные для обучения, которые я использовал, были получены с газоперерабатывающего завода. Логично, что для варианта использования нефтеперерабатывающего завода я предпочитаю использовать данные, тесно связанные с нефтеперерабатывающими заводами.

Я могу просто отмахнуться от вопроса, сказав: «Поскольку вы хотите, чтобы алгоритмы работали с записями HAZOP нефтеперерабатывающих заводов, вам нужно обучать их на данных нефтеперерабатывающих заводов». Этот ответ не показывает полного понимания байесовской статистики.

Байесовская статистика предназначена для обновления, а не определения ваших убеждений на основе новой информации.

А Наивный Байес основан на теореме Байеса, в которой речь идет об апостериорной вероятности гипотезы с учетом новой информации:

Где:

H - гипотеза,

Е является доказательством.

С вводом доказательств, которыми в данном случае являются данные нефтеперерабатывающего завода, мы обучаем алгоритм понимать различные классификации с учетом записей HAZOP нефтеперерабатывающего завода. Когда мы обновляем доказательства для записей HAZOP фармацевтической промышленности, мы, по сути, обновляем веру в алгоритм.

Следующий вопрос, который мы должны задать, заключается в том, применимо ли убеждение, применимое к фармацевтическому промышленному сектору, к сектору газопереработки.

Это все равно, что спросить, применимо ли представление о том, что хлеб является основным продуктом питания на Западе, в странах Восточной Азии.

Теорема Байеса также подразумевает еще один важный шаг в обучении модели ML: важность обновления набора обучающих данных новыми данными.

Правая часть уравнения представляет собой вероятность гипотезы при наличии доказательств. Когда доказательства устарели и неполны, вероятность гипотезы, основанной на старых доказательствах, все равно останется прежней, но вероятность того, что гипотеза будет помещена в реальную ситуацию, совершенно иная.

3Blue1Brown великолепно объяснил теорему Байеса. Пожалуйста, проверьте это, если вы хотите узнать больше: