Понимание принципиальных различий между вероятностью и правдоподобием на примерах
Автор(ы): Пратик Шукла
Оглавление:
- "Введение"
- Введение в вероятность и правдоподобие
- Почему вероятность не является распределением вероятностей?
- Ключевые различия между вероятностью и правдоподобием
- Разница между вероятностью и вопросом правдоподобия
- Вероятность и правдоподобие для биномиального распределения
- "Заключение"
- Ресурсы и ссылки
Введение:
Этот блог объясняет важные различия между вероятностью и правдоподобием. В нашей повседневной жизни, используя простой язык, мы используем эти термины взаимозаменяемо. Однако есть существенная разница при использовании в контексте статистики и машинного обучения. Этот блог призван объяснить эти различия с помощью теорий и примеров в приятной и понятной форме. Давайте погрузимся в это!
Введение в вероятность и вероятность:
В крикетном матче капитаны обеих команд вызываются на поле для подбрасывания монеты. В зависимости от результата подбрасывания монеты капитан-победитель выберет первым бить или бить первым.
Теперь, какова вероятность того, что победивший капитан решит бить первым? Теперь мы знаем, что есть только два возможных исхода: победивший капитан решает первым подать мяч или начать отбивать. Таким образом, есть 50% шанс, что победивший капитан нанесет удар первым.
Комментаторы сейчас обсуждают вероятность того, что капитан-победитель решит первым бить в павильоне. Как мы уже знаем, это число не совсем 50%. Вероятность того, что победивший капитан выберет биту первым, зависит от таких факторов, как тип поля, погода, команда соперника и т. д. Можно сказать, что если непосредственно перед матчем шел сильный дождь, то вероятность победы капитан, решивший бить первым, может стоить всего 1%. Однако, если погодные условия просто идеальны, то вероятность того, что капитан-победитель решит бить первым, может достигать 95%.
При расчете значения вероятности мы верим, что значение параметра θ=0.5 верное. После рассмотрения всех параметров мы предполагаем, что уверены в значении параметра θ=0.5. Однако при расчете вероятности мы должны найти значение этого параметра. При расчете вероятности мы стремимся выяснить, можем ли мы доверять параметру или нет.
Итак, мы можем сказать, что вероятность основана на чистой математике; однако вероятность является функцией многих параметров и условий.
Почему вероятность не является распределением вероятностей?
Мы можем сказать следующее о возможных исходах x в случае подбрасывания монеты.
Вероятность того, что монета выпадет хедз-ап, равна
Теперь, исходя из этого, мы можем сказать следующее о нахождении вероятности выпадения монеты орлом и решкой.
Следующее уравнение можно использовать для обобщения предыдущего набора уравнений.
Теперь мы видим, что приведенная выше формула прекрасно работает для значений k=1 и k=0.
Теперь рассмотрим два разных обстоятельства.
1. СЛУЧАЙ — 1: Вероятность
Допустим, перед подбрасыванием монеты мы знаем значение параметра θ=3/4. Исходя из этого, можно сказать, что вероятность выпадения орла составляет P(heads) = θ = 3/4 и P(tails) = 1-θ = 1/4. Нанесем эти данные на простой график.
Примечание. Мы сохраняем параметры
(θ)постоянными и меняем данные(x=1 or x=0).
2. СЛУЧАЙ — 2: Вероятность
Теперь предположим, что мы не знаем вероятности выпадения орла или решки до подбрасывания монеты. Вместо этого у нас есть результат данных. Здесь мы уже подбросили монетку и оказалось, что она впереди. Теперь, какова вероятность найти θ при заданном x=1.
Примечание. В этом случае мы сохраняем данные
(x=1)постоянными и меняем параметр(θ).
Мы хотим найти распределение, определяющее такой результат. Короче говоря, мы хотим найти значение θ, дающее x. Мы можем записать это в математическом формате следующим образом.
P(x=1 | θ) = L(θ | x=1)
Кроме того, важно отметить, что площадь под кривой составляет 1/2. Таким образом, мы можем сказать, что это недопустимое распределение вероятностей. Вместо этого оно известно как распределение правдоподобия. Обратите внимание, что функция правдоподобия не подчиняется законам вероятности. Итак, функция правдоподобия не привязана к интервалу [0, 1].
Важнейшие различия между вероятностью и правдоподобием:
Допустим, мы получаем случайную величину X из параметризованного распределения F(X;θ). В этом параметризованном распределении параметр θ определяет распределение F(X;θ). Теперь вероятность случайной величины X=x будет P(X=x) = F(x;θ). Обратите внимание, что здесь известен параметр θ.
Однако обычно у нас есть данные (x) в реальном мире, а параметр, определяющий распределение (θ), неизвестен. Учитывая модель F(X;θ),, вероятность определяется как вероятность наблюдаемых данных X как функция θ. Мы можем записать это как L(θ) = P(θ; X=x). Здесь X известен, но параметр, определяющий распределение (θ), неизвестен. На самом деле мотивация определения вероятности состоит в том, чтобы определить параметры распределения.
В нашей повседневной жизни мы часто говорим о вероятности и правдоподобии как об одном и том же. Например: Какова вероятность дождя завтра? Или насколько вероятно, что завтра будет дождь? Однако эти термины сильно различаются в машинном обучении и статистике. Давайте разберемся в принципиальных различиях между вероятностью и правдоподобием с помощью примера.
Когда мы вычисляем вероятность результата, мы предполагаем, что параметры нашей модели заслуживают доверия. Однако, когда мы вычисляем вероятность, мы пытаемся определить, можем ли мы доверять параметрам модели или нет, основываясь на наблюдаемых выборочных данных.
Пример: подбрасывание монеты
Что такое честная монета?
Монета считается верной, если вероятность того, что она выпадет орлом и решкой, одинакова. Другими словами,P(heads) = P(tails) = 1/2.
Допустим, у нас есть честная монета. Здесь нашим предположением о честности монеты является значение параметра (θ = 0.5). При нахождении вероятности мы предполагаем, что параметры заслуживают доверия. Теперь, если мы подбросим эту монету один раз, вероятность того, что она выпадет орлом, равна 1/2. Теперь предположим, что мы подбросили эту монету hundred раз и обнаружили, что она приземлилась только twelve раз. Основываясь на этом свидетельстве, мы скажем, что вероятность того, что эта монета будет честной, очень мала. Если бы монета была на самом деле честной, мы ожидали бы, что она выпадет орлом примерно в половине случаев, то есть в 50 случаях.
В приведенном выше примере мы можем сказать, что монета выпадает орлом только twelve раз из hundred, что заставляет нас сильно подозревать, что фактическая вероятность того, что монета выпадет орлом при данном подбрасывании, на самом деле p = 0.5. Но если бы монета упала fifty-five раз орлом, мы могли бы сказать, что монета, скорее всего, честная.
Разница между вопросами вероятности и статистики:
Допустим, мы подбрасываем монету. Теперь рассмотрим следующие два сценария.
Вероятностный вопрос:
Здесь мы предполагаем, что монета честная.
Вопрос. Какова вероятность выпадения двух решек подряд?
Это означает, какова вероятность наблюдения данных (последовательности) при заданных значениях параметров (P = 0.5).
Вопрос по статистике:
Здесь мы не знаем, честная монета или нет. По сути, мы пытаемся определить честность монеты. Теперь предположим, что мы бросили монету два раза и выпали две решки подряд.
Вопрос. Основываясь на наблюдаемых данных, какова вероятность того, что монета честная? (
P = 0.5)?
Это означает, что мы пытаемся определить значение параметров (P = 0.5) по данным (sequence = HH). Другими словами, нам нужно спросить: «В какой степени наша выборка поддерживает нашу гипотезу о том, что P = 0.5?»
Мы можем определить вероятность как меру того, насколько сильно выборка поддерживает данное значение параметра в параметрической модели.
Вероятность и правдоподобие для биномиального распределения:
Давайте рассмотрим простой случай биномиального распределения, когда мы собираемся подбросить монету десять раз. Допустим, мы подбросили монету ten раз и записали результаты. Получилось, что у нас получилось nine решки и one решки.
ДЕЛО 1:
Мы знаем, что монета честная, т. е. p = 0.5. Основываясь на этой информации, мы хотим найти вероятность выпадения nine орла при подбрасывании ten. Вот уравнение, которое мы можем сформулировать.
Здесь 0.009765 — это вероятность выпадения x = 9 орла при задании p = 0.5.
В более общем виде мы можем записать уравнение следующим образом:
ДЕЛО — 2:
Теперь, в этом случае, мы не уверены, является ли монета честной. Это означает, что мы не знаем значение параметра P. Вместо этого мы подбросили монету ten раз и получили результаты подбрасывания. Получилось, что у нас получилось nine орлов и one решек. Итак, исходя из этого, мы можем сказать следующее.
Здесь мы пытаемся найти значение параметра P на основе данной выборки данных (nine головы из ten подбрасывает).
Заключение:
Вероятность относится к вероятности того, что конкретный результат произойдет на основе значений, заданных параметрами в модели. Здесь мы верим, что значения параметров точны. С другой стороны, вероятность относится к тому, насколько сильно выборка поддерживает данное значение параметра в параметрической модели. Поэтому мы пытаемся определить идеальные значения параметров для нашей модели на основе предоставленных выборочных данных.
Цитата:
Для атрибуции в академическом контексте, пожалуйста, цитируйте эту работу как:
Shukla, et al., “Probability vs. Likelihood”, Towards AI, 2023
Бибтекс Цитата:
@article{pratik_2023,
title={Probability vs. Likelihood},
url={https://pub.towardsai.net/probability-vs-likelihood-a79335c985f7},
journal={Towards AI},
publisher={Towards AI Co.},
author={Pratik, Shukla},
editor={Binal, Dave},
year={2023},
month={Feb}
}
