Seldon платформа для упаковки и развертывания моделей машинного обучения
В этом блоге мы расскажем об обзоре инструмента MLOps Seldon и о том, почему нужно знать о Seldon и в чем преимущества использования Seldon.
Почему вы должны знать о Селдоне?
Самой большой проблемой в отрасли является производство моделей машинного обучения из-за большого количества движущихся частей, поэтому специалисту по данным и инженеру DevOps трудно работать вместе и заставить все работать. Специалистам по данным не хватает понимания облачной инфраструктуры, а инженерам DevOps не хватает требований к моделям машинного обучения. Чтобы решить эту проблему, Seldon предоставляет платформу, на которой эти процессы могут выполняться на высоком уровне даже с меньшими знаниями об их инфраструктуре инженером по машинному обучению или инженером MLOps с новой ролью.
Кто должен об этом знать?
Любой, кто пытается внедрить модели машинного обучения, является инженером по машинному обучению или инженером MLOps.
Использование Селдона
Приведенный выше поток объясняет высокоуровневый поток использования Селдона.
- Data Scientist подготавливает модель машинного обучения либо путем обучения новой модели, либо путем тонкой настройки предварительно обученной модели с данными.
- Обучение сохраняется в месте хранения, при необходимости может быть в любом облачном хранилище.
- Затем нужно создать класс вывода, чтобы прочитать модель из хранилища и предоставить прогноз.
- Теперь с помощью ядра Seldon создайте многоразовый образ сервера модели (образ докера) и загрузите его в реестр.
- Сервер этой модели предоставляет микросервис REST или GRPC для оценки.
- Его можно развернуть в кластере для пакетных или потоковых данных.
Почему бы не использовать флягу или докер?
Seldon обладает некоторыми из этих преимуществ, что делает его более подходящим вариантом для использования. Эти преимущества:
- Вся тяжелая работа выполняется на платформе Seldon.
- Seldon предоставляет очень сложные графы логических выводов, на которых можно проводить даже A/B-тестирование, разбивать логические выводы на разные модули и т. д. На приведенном ниже рисунке показано, где можно даже настроить простой граф логических выводов Seldon или сложный граф с помощью Multi-Arm Bandit. , обнаружение выбросов и другие.
3. Простой способ контейнеризации моделей машинного обучения.
4. Простота развертывания в кластере даже при меньшем знании инфраструктуры.
5. Seldon обеспечивает автоматическую настройку входа.
6. Расширенные и настраиваемые метрики с интеграцией с Prometheus и Grafana
В следующей статье будет рассказано, как использовать Seldon для создания микросервисов для модели машинного обучения.
Ссылки
https://www.seldon.io/
https://github.com/SeldonIO/seldon-core/
