Ноябрь 2022 года ознаменовался как началом моей стажировки в региональной группе данных foodpanda, так и, что интересно, массовым внедрением LLM (больших языковых моделей). Вот мой опыт участия в двух разных проектах ИИ за последние 8 месяцев!
Автоматизируйте скучные задачи с помощью машинного обучения
Машинное обучение уже стало обычным явлением в foodpanda и ее материнской компании DeliveryHero для автоматизации таких процессов, как выбор стратегии ценообразования, классификация кухни и персонализация контента. Эти идеи позволяют нам сделать наш бизнес менее капиталоемким и высвободить ресурсы для других сфер интересов.
Я работал с командой над разработкой модели XGBoost для выявления аномальных заявлений о доставке еды. Наша гипотеза включает предположение, что тип аномальных требований будет меняться со временем; однако неясно, как это повлияет на деградацию/дрейф модели и какой тип графика повторного обучения является наиболее подходящим. Моя команда должна была определить частоту повторного обучения нашей модели, прежде чем запускать ее в производство. Поскольку мы считали самую последнюю обученную модель наиболее точной, наша частота обучения должна быть немного выше, чем типичное время, необходимое для деградации модели, чтобы ее прогнозы (для общего набора данных) начинали отклоняться от последней модели.
Для этого я написал скрипт, который делает следующее:
- Обучите набор моделей по характеристикам клиентов и заказов разного возраста (например, X дней, X недель, X месяцев).
- Выполните SQL-запрос, чтобы получить функции заказа, на которых мы будем тестировать различные модели, из BigQuery.
- Запустите тесты полезной нагрузки на наборе моделей и сохраните прогноз каждой модели в отдельном файле JSON.
- Постройте прогнозы в виде гистограмм
- Создайте GIF на основе гистограмм, чтобы визуализировать деградацию модели с течением времени.
Мы рекомендовали частоту переобучения инженеру нашей команды по машинному обучению в зависимости от периода, когда мы наблюдали наибольшее отклонение прогнозов между эталонной и устаревшей моделью. Если частота переобучения модели нуждается в обновлении после основных выпусков пакетов, наш инженер может повторно запустить сценарий перед повторным развертыванием модели.
Наша модель XGBoost автоматизирует часть регионального процесса обнаружения нештатных заказов, комбинируя рекомендации машинного обучения с ручными оценками агентов по обслуживанию клиентов. В результате мы сократили нашу зависимость от человеческого труда и общее количество случаев мошенничества, которые приносили убытки нашей компании.
Мы можем внести дополнительные улучшения, в том числе:
- Увеличение неоднозначных порогов оценки риска (после оптимизации модели) и исследование дрейфа модели для этих порогов
- Планирование задачи, которая регулярно запускает сценарий и автоматически дает рекомендацию по соответствующему расписанию переобучения.
- Увеличение количества отображаемых временных интервалов для более точного определения частоты тренировок.
Инновации с генеративным искусственным интеллектом
Оценить ценность идеи может быть сложно, но я думаю, что лучшие идеи могут стать источником новых инноваций. Всплеск интереса к генеративному ИИ совпал с моим переходом в новую команду через несколько месяцев стажировки, что позволило мне создавать новые POC данных для foodpanda. Я начал углубляться в основы LLM с целью создания внутреннего чат-бота для заинтересованных сторон бизнеса, чтобы создавать SQL-запросы на естественном языке для получения ответов данных в BigQuery.
Обзор подхода, который я использовал для оперативной разработки:
Пример SQL-запроса, созданного с помощью модели GPT:
Увидев, как наша модель GPT может отвечать на в основном точные запросы в этом начальном POC, я побудил меня протестировать наш микросервис на GCP. Наша следующая цель — изучить возможность обслуживания чат-бота в более широком масштабе, интегрировав его в наши каналы Slack с помощью инфраструктурных и инженерных групп.
Наш инструмент генерации SQL на основе GPT может сократить разрыв между техническими и бизнес-заинтересованными сторонами: бизнес-пользователи могут быстрее получать ответы на свои вопросы, связанные с данными, с помощью чат-бота, в то время как аналитики могут сосредоточиться на сокращении времени на получение информации. Этот лунный проект помог нам продемонстрировать влияние инноваций в области генеративного искусственного интеллекта на наш бизнес, стимулируя дальнейшие исследования в таких областях, как улучшение контента, автоматизация/стандартизация обслуживания клиентов и многие другие.
Использование автоматизации и инноваций
В книге Питера Тиля «От нуля к единице» он утверждает, что стартапы должны отдавать предпочтение смелым идеям, а не постепенным разработкам существующих решений. Я думаю, что более крупные организации тоже могут взять пример с Тиля. Сегодня, особенно с доступностью инструментов ИИ, компании, которые продолжают искать «революционные» идеи, будут выделяться, как в случае с Microsoft с генеративным ИИ.
Опыт гибкости стартапа для создания новых вещей и наличие ресурсов средней и крупной компании во время работы в foodpanda позволили мне запачкать руки созданием решений для данных — как на операционном уровне (т. шаблоны) и на этапе исследования (т. е. прототипирование чат-бота для заинтересованных сторон бизнеса для написания SQL-запросов с использованием только подсказок). В связи с продолжающимся быстрым развитием идей в области искусственного интеллекта и многих других технологий, которые потенциально могут повлиять на миллиарды людей, я как никогда рад развитию своей карьеры в технологической отрасли.
