Автор: Сим Закс

Хотя существует множество инструментов, реализующих MLOps различными способами, важно помнить, что MLOps — это не какой-то конкретный набор инструментов. Вы не можете скачать MLOps, какой бы привлекательной для него ни стала реклама. Это не значит, что существует не так много инструментов, которые помогут вам внедрить MLOps. Но вы должны сначала полностью понять свой рабочий процесс, а затем выбрать инструменты, которые помогут его реализовать.

Итак, что это?

Это, в первую очередь, методология и рабочий процесс, которые призваны изменить мышление людей, работающих во всех аспектах приложений для обработки данных в масштабе.

В рабочий процесс машинного обучения на производственном уровне вовлечено несколько человек. Основными игроками являются:

  • Исследователи данных работают с большими данными, выясняя, как обобщать и преобразовывать их, чтобы они были понятными и удобными для использования. Затем это вводится в модели, которые они разрабатывают и обучают с целью предсказания будущих данных, с которыми они столкнутся.
  • Разработчики программного обеспечения пишут приложения для использования этих моделей в реальных приложениях.
  • Инженеры DevOps несут ответственность за то, чтобы вся инфраструктура была настроена и функционировала должным образом в соответствии с требуемым масштабом и доступностью. Они несут ответственность за конвейеры CI/CD и гарантируют, что ворота качества определены и действуют.

DevOps зародился в начале 2000-х, когда индустрия программного обеспечения осознала дисфункцию полностью отдельных органов, отвечающих за свой сегмент, и никто по-настоящему не разбирался в сквозном конвейере. Чтобы ответить на этот вопрос, были разработаны методологии DevOps, где одна группа людей должна была понять весь сквозной конвейер и остановить игру с обвинением.

Парадигма машинного обучения добавила новые аспекты в сквозной конвейер, включая поиск, обработку, обучение и управление версиями данных. Это потребовало развития и адаптации модели DevOps для включения этих новых аспектов. Идея заключалась в том, чтобы обучить инженеров DevOps достаточному пониманию области науки о данных, чтобы они могли взять на себя полную ответственность за весь конвейер. Необходимо было разработать новые инструменты для обработки всей автоматизации, необходимой для поддержки этой модели. MLOps родился как надмножество методологий DevOps.

См. также:McKinsey приобретает платформу MLOps Iguazio

Что входит в рабочий процесс MLOps?

Первый аспект MLOps, который отличается от стандартного рабочего процесса DevOps, — это работа с данными. Во время разработки и тестирования модели специалисты по данным обычно имеют доступ к статическому озеру данных, где они могут обучать и тестировать свою модель. Модель интегрирована в приложение, которое позволит выполнить модель с новыми данными и произвести прогноз.

Хотя прогнозы выполняются автоматически, целесообразно добавить проверку приемлемого диапазона значений прогноза и поднять флаг, если порог превышен. Это даст специалистам по данным повод убедиться, что модель работает так, как ожидалось, и ничего не было упущено.

Прежде чем продвигать новую версию в производство, как старую, так и новую модели следует проверить на одних и тех же данных. Это предотвратит регрессию, а также даст вам основу для обеспечения того, чтобы новая модель работала должным образом.

Повторное обучение — это процесс, который следует выполнять регулярно, чтобы гарантировать, что модели точно работают с производственными данными. Данные в продакшене регулярно меняются, и если модель не переобучить, она начнет показывать перекос данных. Повторное обучение должно запускаться автоматически всякий раз, когда ключевые показатели отслеживания падают ниже порогового значения. Чтобы это работало правильно, необходимы базовые результаты, которые доказывают, что модель переобучена в соответствии с…

Продолжение на CloudDataInsights.com