При работе над регрессионными моделями мы можем столкнуться с разными типами производительности разных моделей.

Например, на изображениях ниже показана производительность двух разных моделей линейной регрессии.

Хотя мы ясно видим, что первая модель работает лучше, чем вторая модель, нам также необходимо количественно оценить разницу между производительностью этих двух моделей.

В этом случае показатели эффективности пригодятся :).

Итак, давайте начнем изучать различные показатели производительности один за другим.

1. Среднеквадратическая ошибка (MSE)

Это среднее квадрата разницы между фактическим и прогнозируемым значением.

Этот показатель редко используется для оценки производительности модели машинного обучения, поскольку он увеличивает небольшие ошибки.

Например, предположим

у_факт = 100, 105, 110, 115, 200

у_прогноз = 120, 125, 135, 140, 160

Следовательно, для этого случая MSE будет равен 730, что является очень большим значением, из-за которого можно подумать, что модель не работает хорошо.

Поскольку можно получить неправильную интерпретацию модели, эта метрика обычно не используется.

2. Среднеквадратичная ошибка

Как следует из названия, это просто квадратный корень среднеквадратичной ошибки. Записывается так:

Это более часто используемый и предпочтительный показатель, поскольку его легче интерпретировать, а также на него не так сильно влияют выбросы, как в случае MSE.

Давайте разберемся на примере:

Предположим, y_actual = 100 м, 105 м, 110 м, 115 м, 200 м.

y_predicted = 120 м, 125 м, 135 м, 140 м, 160 м

Итак, MSE = 730 м² и RMSE = 27 м.

Следовательно, отсюда мы можем ясно понять, что совершенно нелепо говорить, что моя модель предсказывает значение 160 м с ошибкой 730 м², тогда как это не относится к RMSE, поскольку мы можем четко интерпретировать его, поскольку мы получаем прогнозируемое значение. 160 м с ошибкой 27 м.

3. Средняя абсолютная ошибка

Он дается как среднее значение суммы абсолютной разницы между прогнозируемым значением и абсолютным значением.

Это не очень часто используемый и предпочтительный показатель для оценки модели. ЗАЧЕМ ?

Давайте продолжим с приведенным выше примером:

Учитывая те же y_actual и y_predicted, что и выше,

MSE = 730 м², MAE = 26 м, RMSE = 27 м.

Как мы можем ясно видеть здесь, RMSE › MAE, поскольку он сначала возводит ошибки в квадрат, а затем извлекает квадратный корень из их суммы, таким образом, он наказывает большие ошибки, т. е. показывает влияние выбросов на модель, но MAE не может сделать это эффективно.

4. Средняя абсолютная ошибка

Это почти аналогично MAE, но в данном случае рассматривается медиана ошибок, а не их среднее значение.

На него вообще не влияют выбросы, но он мало используется, потому что имеет высокую временную сложность, поскольку для нахождения медианы значения сначала сортируются, а затем определяется медиана, что занимает много времени, поэтому >нельзя использовать с огромными наборами данных.

5. R-квадрат (коэффициент детерминации)

Он представляет собой коэффициент того, насколько хорошо модель машинного обучения работает по сравнению с простой средней моделью.

Его дают:

С помощью двух изображений ниже вы можете четко понять, между какими двумя строками происходит сравнение:)

Таким образом, сравнение двух приведенных выше изображений на самом деле количественно определяется метрикой R Squared.

Его значения обычно находятся в диапазоне от 0 до 1, чем ближе значение к 1, тем лучше работает модель.

Иногда термин R² сбивает с толку пользователей, и они начинают думать, что это никогда не может быть отрицательным. Но значение в некоторых случаях становится и отрицательным. Когда модель машинного обучения работает дажехуже, чем модель простого среднего, тогда значение R² оказывается отрицательным. Такой случай показан ниже:

6. Скорректированный квадрат R

Это модифицированная версия метрики R в квадрате, поскольку она пытается преодолеть недостаток метрики R в квадрате.

Проблема с R Squared заключается в том, что его значение увеличивается, когда вы добавляете больше независимых переменных во время прогнозов, даже если они не связаны с целевым значением. переменная, так что это немного отвлекает пользователя тем, что его модель работает еще лучше с новой функцией, хотя это не имеет значения.

Таким образом, в случае скорректированного R в квадрате уравнение модифицируется таким образом, что значение метрики уменьшается, когда во время прогнозирования целевой переменной добавляется бесполезная функция.

N = количество элементов в наборе данных

P = количество независимых функций

Таким образом, если добавляется бесполезная функция, значение P увеличится, а знаменатель уменьшится, из-за чего весь отрицательный член увеличится в значении, а весь скорректированный R² уменьшится, показывая, что добавленная функция является не имеющий отношения.