Пространство искусственного интеллекта стало свидетелем впечатляюще быстрых инноваций. Это вызвало безумие по включению больших языковых моделей (LLM) во все приложения B2B и B2C… но готово ли наше современное предприятие к изменению технологического стека, необходимому для масштабирования этих решений? Им нужно будет внести некоторые изменения в свой существующий стек технологий ИИ.

«Лучший в своем классе» технологический стек, скорее всего, будет энной итерацией, но те, кто сделает это правильно раньше, получат выгоду от более плавного процесса ML Ops, более эффективных приложений и, что наиболее важно, более довольных инженеров.

Вот мой взгляд на то, как может выглядеть упрощенный технологический стек LLM Powered Application Tech:

Аппаратный уровень. Здесь происходит вычисление данных. Прямо сейчас это происходит на таких чипах, как NVDIA и Intel. На данный момент графические процессоры считаются золотым стандартом для вычислений, но в будущем есть потенциал для использования других методов, таких как квантовая или кварковая шкала. Я предполагаю, что чем более требовательными становятся вычисления ИИ, тем больше инноваций потребуется на этом уровне, чтобы снизить затраты. Я с нетерпением жду этой игры.

Уровень платформы и хранилища. По состоянию на 2022 год 60 % корпораций по всему миру хранили свои данные в общедоступных, частных или гибридных облаках либо в структурированных базах данных, либо в неструктурированных озерах данных. Здесь мы видим наше первое отличие от текущего стека технологий НЛП. Чтобы быть эффективными для запуска моделей LLM, данные должны храниться в векторной базе данных с использованием вложений. Использование векторных хранилищ означает, что компания может хранить больше данных, занимая меньше места, а модель LLM может запрашивать их быстрее. Это также уменьшает объем данных, которые необходимо фактически обработать во время обучения и логического вывода, что еще больше снижает затраты.

Уровень модели/API. Если компания создала свой собственный LLM, именно здесь он и будет находиться. Если бы они использовали предварительно созданный LLM, такой как GPT-4 от OpenAI или Claude от Anthropic, то он также служил бы уровнем интеграции API, где предварительно созданная модель могла быть настроена для варианта использования. Модель будет запрашивать векторную базу данных на уровне хранения для точной настройки.

Уровень инструментов и услуг. Большая часть различий между существующим техническим стеком NLP и техническим стеком LLM заключается в уровне инструментов и услуг. Платформы, которые упрощают создание приложений с поддержкой LLM, такие как LangChain, предоставляют возможность предоставить контекст вашей модели. Они также упрощают добавление новых возможностей LLM в ваши приложения, оптимизируя конвейеры и позволяя легко заменять или изменять модели.

Использование инструментов также помогает решить некоторые из текущих недостатков больших языковых моделей, таких как актуальность данных. Используя дополнительные инструменты, вы можете убедиться, что ваша модель всегда имеет доступ к наиболее важным данным.

Прикладной уровень. На этом уровне пользователь взаимодействует с приложением, использующим LLM!

Ключевые выводы:

  • Инвестирование в ваш технический стек позволит вашим приложениям на базе LLM эффективно масштабироваться и обеспечит наилучшие возможности для вашего пользователя (и ИТ-команды).
  • Прощайте, озера данных и здравствуйте, хранилища векторов. Приготовьтесь к новому способу хранения неструктурированных данных с помощью векторных хранилищ.
  • Время до принятия имеет существенное значение. Использование инструментов, упрощающих автоматизацию конвейера и включающих стандартные подсказки, позволяет быстро и эффективно интегрировать LLM в приложения.

У проворных поставщиков услуг существуют возможности улучшить инфраструктуру, необходимую для масштабирования LLM. Я надеюсь, что когда я перечитаю эту статью в 2024 году, она будет устаревшей из-за экспоненциального новшества в этой области.

Хотите поговорить о том, как LLM меняют наш технологический ландшафт, или хотите добавить свои идеи в эту публикацию? Напишите мне в LinkedIn!