Оценка максимального правдоподобия
Оценка максимального правдоподобия — это статистический метод определения оптимальных параметров для неизвестного или вероятного целевого распределения с учетом некоторых наблюдаемых данных.
Мы сталкиваемся с этой концепцией оценки максимального правдоподобия в мире машинного обучения, когда пытаемся понять, как мы оптимизируем или изучаем наш параметр, чтобы совместное распределение наших входных переменных и параметра обучения максимизировало вероятность наших выходных переменных. .
Проводя аналогию с изучением параметров в модели ML, мы изучаем функцию правдоподобия, которая помогает нам определить оптимальные значения для этих параметров с учетом некоторой наблюдаемой переменной. Мы можем представить функцию правдоподобия как
Учитывая, что случайная величина независима и одинаково распределена, мы записываем функцию правдоподобия как
Мы используем оценку максимального правдоподобия, чтобы найти значения параметров модели, которые максимизируют правдоподобие в пространстве параметров.
Давайте рассмотрим пример, чтобы лучше понять это с нормально распределенными наблюдаемыми данными.
Оценка максимального правдоподобия для нормального распределения
Рассмотрим следующий график, который показывает цены на аренду в тысячах по оси X, предположим, что мы хотим изучить и понять распределение и найти параметры цен с точки зрения среднего и стандартного отклонения.
Поскольку мы имеем дело с ценами на аренду жилья, давайте попробуем посмотреть, можем ли мы подогнать распределение под кривую нормального распределения и использовать оценку максимального правдоподобия для расчета оптимального параметра среднего и стандартного отклонения.
Допустим, мы начинаем со среднего значения около ~ 14 и стандартного отклонения около ~ 3, мы видим следующий график.
мы видим, что наша кривая со значениями параметров для среднего и стандартного отклонения смещена влево
Давайте посмотрим, решим ли мы иметь среднее значение ~ 25 и стандартное отклонение около 3, как кривая соответствует распределению.
Мы снова видим, что среднее значение и стандарт смещены вправо,
Таким образом, давайте попробуем уменьшить значение среднего до ~ 17 и стандартное отклонение до ~ 3
Теперь мы видим, что при нашем среднем значении 16,98 и стандартном отклонении 2,57 мы можем подобрать распределение цен на аренду в Спрингфилде.
Понимая природу максимального правдоподобия, мы попытались приблизить целевое распределение к нормальному распределению, исходя из исходного предположения, что наблюдаемые переменные независимы и одинаково распределены.
Мы знаем, что нормальное распределение можно определить как
Мы видим, что вычисление здесь в терминах экспоненциальной функции похоже на сложное и даст высокие значения, чтобы сделать расчет ограниченным и упростить вычисление оптимального значения μ и 𝜎, мы можем переписать
на основе уравнения 1 мы можем справа от
Решая приведенное выше уравнение относительно μ, мы получаем;
Таким образом, мы рассчитали параметр оценки максимального правдоподобия µ вероятного распределения для наблюдаемой переменной цен на аренду в Спрингфилде.
Точно так же мы можем вычислить параметр оценки максимального правдоподобия 𝜎.
Применяя аналогичную идею логарифмической оценки правдоподобия для 𝜎, мы можем получить значение максимального правдоподобия для 𝜎 как
что является оптимальным значением для 𝜎 при некоторой случайной выборке цен на аренду, мы видим, что наше оптимальное значение очень близко к нашей приблизительной кривой, показанной на рисунке 3 выше.
