В обычных сценариях система, предлагаемая инженером/инженерами по машинному обучению, должна быть экономичной, быстро развертываемой, мобильной (способной работать в любом месте) и масштабируемой.
Недавно и после выпуска AWS lambda на основе образа контейнера , на мой взгляд, это один из самых эффективных способов запуска вашей модели в производство.
Идея AWS lambda заключается в том, что вы можете загружать и запускать свой код, не думая о сервере, на котором он выполняется.
наконец, вы можете упаковать и развернуть свою функцию Lambda в виде образа контейнера размером до 10 ГБ.
Таким образом, вы получаете выгоду от простоты эксплуатации, автоматического масштабирования, высокой доступности, рентабельности и встроенной интеграции с другими службами.
Две основные проблемы при использовании Lambda:
1. Lambdas имеют ограничение времени ожидания 15. минут, что означает, что все ваши взаимодействия с моделью должны быть меньше ограничения по времени (если ваша модель огромна или вы имеете дело с большими данными, Lambda не будет хорошим выбором). Тем не менее, вы можете создать несколько лямбда-выражений и организовать их с помощью пошаговой функции.
2. Задержка холодного запуска. Лямбда-выражения вызывает задержку холодного запуска, когда функция вызывается после некоторого периода бездействия. «Согласно анализу производственных рабочих нагрузок Lambda, холодный запуск обычно происходит менее чем в 1% вызовов. Продолжительность холодного запуска варьируется от менее 100 мс до более 1 секунды.» {цитата из сообщения Джеймса Бесвика}. производство с помощью Lambda из контейнера образа.
В основной записной книжке перечислены шаги, которые необходимо выполнить, и вы можете плавно настроить код, создать образ, передать ECR реестра эластичного контейнера и развернуть его как лямбда-функцию.
