Методы ансамбля в машинном обучении основаны на очень простой гипотезе о том, что если мы объединим несколько моделей (слабых учеников) вместе, это приведет к мощной модели.

В этой статье я снова попытаюсь объяснить основную концепцию ансамблевых методов, не вдаваясь в технические детали, поскольку идея состоит в том, чтобы понять, что такое ансамблевые методы.

В машинном обучении доступно так много моделей, что независимо от типа постановки задачи, то есть регрессии или классификации, мы всегда пытаемся найти наиболее подходящую модель. Методы ансамбля объединяют эти базовые модели (часто называемые слабыми учениками) таким образом, чтобы помочь нам создать лучшую и гораздо более мощную модель.

Есть разные виды ансамблевых моделей. Самые популярные из них:

  • Пакетирование (агрегирование начальной загрузки)
  • Повышение

Основное различие между техникой Bagging и Boosting заключается в способе обучения системы.

В Bagging все слабые учащиеся учатся независимо, параллельно, а затем результат каждого слабого учащегося объединяется для получения окончательного результата.

В то время как при усилении слабые учащиеся учатся в последовательном порядке, в котором они адаптируются к результатам предыдущего учащегося и объединяют то, что они узнали, и передают следующему слабому учащемуся.

Бэггинг (агрегирование бутстрапа)

Bagging - это сокращение от Bootstrap Aggregating. В мешках, поскольку мы обсуждали, что мы обучаем разных слабых учеников, а затем объединяем их результаты, чтобы получить окончательный результат. Мы знаем, что если мы запустим всех этих слабых обучающихся (моделей) на всех данных, это будет очень затратно с точки зрения вычислений.

Это одна из основных причин, по которой мы сначала загружаем наши данные, когда мы генерируем образцы или подмножества наших данных и параллельно обучаем каждую из этих моделей (слабых учеников) на этих подмножествах, а затем мы выясним, как объединить этих учеников.

Теперь, если у нас есть проблема регрессии, мы усредним результаты каждого из слабых учеников и получим наш окончательный ответ, тогда как в случае, если у нас есть проблема классификации, мы можем посмотреть на результат, который имеет большинство, чтобы быть нашим окончательным ответом.

Повышение

Повышение также иногда называют последовательным методом. Судя по названию, идея этого метода заключается в том, что слабые ученики учатся на результатах предыдущего ученика и адаптируются к его результатам. Так что это своего рода итеративный метод, при котором с каждым слабым учеником приспособленность модели улучшается.

Когда дело доходит до выбора слабых учеников в усилении, возможны различные перестановки и комбинации, и последовательность, в которой применяются эти модели, также имеет большое значение. Последовательность модели зависит от того, чего мы намерены достичь с помощью нашей модели. Например, мы можем выбрать другую последовательность моделей для модели с высокой степенью смещения по сравнению со случаем модели с высокой дисперсией.

Существует несколько методов повышения, таких как Adaptive Boosting и Gradient Boosting, о которых я расскажу в другой статье.

Вкратце, методы ансамбля достаточно эффективны, что приводит к общему повышению производительности нашей модели, поскольку она объединяет различные модели и агрегаты или адаптируется к ним.

Надеюсь, вам понравилась эта статья. Спасибо за чтение.