Байесовское концептуальное обучение:
Применения: обнаружение мошенничества с кредитными картами, фильтрация спама, медицинская диагностика, онлайн-обучение.
Чтобы использовать байесовское обучение, нам нужно понимать вероятность, априорную и апостериорную вероятность. Есть разные способы понять эту концепцию, но я понял это, играя в игру. Итак, давайте поиграем в игру.
Я ведущий игры «Угадай следующее число». Участники выбирают коробку, которую нужно открыть, и внутри этой коробки находится число. Допустим, первое число D = {5}, теперь каждому участнику предлагается угадать следующее число. Чтобы упростить игру, мы говорим, что числа в каждом поле находятся в диапазоне от [1100] включительно.
Предположение участника о следующем числе можно обобщить как гипотезу H.
H = (число — нечетное число, число кратно 5, число — следующее целое число)
После 5 раундов участники видят следующие числа D: {5,25,15,45,35}. Предположение участника о следующем числе после 5 раундов можно обобщить как H = (следующее число кратно 5 (H1) и следующее число нечетно (H2)), с максимальным количеством голосов за H1.
Таким образом, возникает вопрос, если следующая коробка однородна и выбрана случайно, как участники могут оценить ее кратность 5? D также может представлять набор нечетных чисел. Так почему нечетные числа? Ответ на этот вопрос: Вероятность.
Вероятность позволяет нам твердо верить в гипотезу, которая подтверждается данными. Причина, по которой среди участников существует твердое убеждение, что следующее число кратно 5, заключается в принципе размера. Принцип размера определяется соотношением [1/размер(h)] ^ N.
где size(h) — длина множества для гипотезы H, например, если наша гипотеза кратна 5, то множество включает {5,10,15,20…100}, длина множества равна 20 и N — общее количество точек данных в D.
Давайте посмотрим, как это работает:
В первом раунде, когда D = {5}
P(D|H1) = [1/20]^ 1 = 0.05
P(D|H2) = [1/50]¹ = 0.02
После 5 раундов при D = {5,25,15,45,35}
P(D|H1) = [1/20]⁵ = 3.125e-7
P(D|H2) = [1/50]⁵ = 3.2e-9
Следовательно, из приведенного выше уравнения мы видим, что вероятность H1 выше, чем вероятность H2. Следовательно, участники сильнее верят в то, что следующее число кратно 5.
Следующий вопрос: как участники пришли к этой гипотезе? Ответ на этот вопрос: до. Это субъективная и противоречивая часть байесовского рассуждения. Тем не менее, это также позволяет быстро учиться, используя базовые знания по проблеме. Он представлен как вероятность вашего предыдущего убеждения. В приведенном выше наборе данных D другая гипотеза H3 может быть кратна 5, за исключением кратности 10. Однако для этой неестественной концепции мы можем дать более низкую априорную вероятность, в то время как концепция, кратная 5, может иметь более высокую априорную вероятность. .
По мере получения новой информации мы хотели бы обновить нашу априорную вероятность. Это достигается за счет апостериорного. Это вероятность, умноженная на предыдущую, нормализованная. Следовательно, после определения вероятности, априорной и апостериорной вероятности мы теперь можем использовать байесовский метод для оценки следующего числа. Этот метод обучения называется байесовским обучением.
Приведенный выше пример вдохновлен Тененбаумом, Дж. Б. (2000). Правила и сходство в понятийном обучении. В Достижениях в области нейронных систем обработки информации (стр. 59–65).
