В предыдущем сообщении блога мы создали образ Docker для обучения и обслуживания модели в Sagemaker. Теперь мы можем перейти к тому, как развернуть модель на AWS Sagemaker. В самых общих чертах существует два различных метода развертывания, которые очень распространены и охватывают большинство вариантов использования для машинного обучения: Пакетное преобразование и Конечная точка вывода в реальном времени . В этом посте мы рассмотрим параметр Пакетное преобразование . Почему..

Первоначально опубликовано на https://thelastdev.com 11 марта 2020 г. Было прекрасное утро, солнечный свет лился через окно на мой стол. С кружкой горячего кофе в руке я медленно шел в комнату к своему кабинету, уверенный и взволнованный. «Сегодня тот день, — прошептал я, — что сегодня я превзойду свою последнюю заявку Digit Recognizer на Kaggle! К тому времени, когда я добрался до своего стула, я был полон энергии! Щелкнул мышью, чтобы разбудить мой компьютер, и за считанные..

По ходу стажировки я работаю над созданием новых и доработкой существующих пайплайнов. Эти конвейеры являются частью цикла обучения для модели машинного обучения. В конвейере есть несколько компонентов (или, как любит выражаться Dagster , активы ): 1) база данных BigQuery , 2) веб-приложение аннотации React-Flask-Postgres, которое оценивает обучение и тестовые примеры, и где все это объединяется, 3) Dagster, платформа оркестровки данных . С помощью этих компонентов различные..

AWS Sagemaker — это управляемый экземпляр для создания, обучения, настройки и развертывания моделей Data Science. В следующем разделе описываются компоненты SageMaker для сквозного цикла машинного обучения. Подготовка SageMaker Ground Truth — пометка обучающих данных для машинного обучения SageMaker Data Wrangler : сбор и подготовка данных для машинного обучения SageMaker Processing  – встроенный в Python, используйте собственный R/Spark SageMaker Feature Store — храните,..

Организация и отслеживание обучения и экспериментов по машинному обучению MLOPs — это растущая и важная область в области машинного обучения. Я работаю в Data Science и Medium уже несколько лет и никогда не видел такого взрыва инструментов в этой области, от MLFlow до SageMaker Pipelines . Ключевой частью MLOps являются эксперименты. Часто в реальном мире специалисты по данным будут иметь множество моделей, обучающих наборов, различных комбинаций гиперпараметров среди множества..