GPT 3.5 Turbo был выпущен Open AI 1 марта 2023 года. ChatGPT, диалоговый бот, который поместил разговорный AI в заголовки, был основан на этой модели.

Что такое Турбо?

Open AI представила новое семейство моделей, известных как Turbo, которые оптимизированы для ввода и вывода разговорного чата, но также работают одинаково хорошо по сравнению с ранее выпущенными моделями в рамках GPT-3, самой мощной из которых является DaVinci.

В таблице ниже представлен обзор того, как Turbo сравнивается с предыдущими моделями:

Компания Open AI выпустила две модели семейства Turbo: стабильный выпуск (gpt-3.5-turbo-0301) с поддержкой в ​​течение 3 месяцев и gpt-3.5-turbo, который будет получать регулярные обновления, как и ChatGPT. Обе модели имеют такой же лимит токенов, как и ранее выпущенный DaVinci, каждая новая модель имеет максимальный лимит в 4096 токенов. Как упоминалось в моем предыдущем отчете, это означает, что любой сгенерированный выход (завершение) будет ограничен 4096 минус количество входных токенов.

Open AI также утверждает, что семейство моделей Turbo должно быть в состоянии справиться с любым вариантом использования, уже хорошо реализованным семейством моделей DaVinci. На приведенном ниже снимке экрана показано, как Turbo можно использовать для QnA аналогично тому, как мы использовали модель DaVinci в предыдущем отчете.

Что изменилось с точки зрения защиты данных?

В отличие от предыдущей статьи, в которой говорилось, что OpenAI будет использовать данные для улучшения моделей, в новой политике для OpenAI упоминается, что данные не будут использоваться для обучения или улучшения моделей, если только клиент не даст на это согласие. Однако все данные, отправленные через API, будут храниться для целей мониторинга злоупотреблений и неправомерного использования в течение максимум 30 дней, после чего они будут удалены (если иное не требуется по закону). В настоящее время компания хранит все эти данные в США, что может быть потенциальной проблемой GDPR, поскольку в Европе нет доступных центров обработки данных. В качестве исключения Open AI также упоминает, что клиенты, развертывающие варианты использования с низкой вероятностью неправильного использования, могут запросить вообще не хранить данные API, в том числе для мониторинга и предотвращения безопасности.

OpenAI также теперь предлагает выделенные экземпляры для пользователей, которым нужен больший контроль над версией модели и производительностью системы. Эти экземпляры позволяют разработчикам полностью контролировать загрузку экземпляра, включать такие функции, как более длительные ограничения контекста, и закреплять моментальный снимок модели. Выделенные экземпляры зарезервированы для обслуживания запросов разработчика и оплачиваются по времени. Это дает разработчикам более глубокий контроль и гибкость при использовании OpenAI API, однако выделенные экземпляры могут иметь экономический смысл только при обработке более ~ 450 миллионов токенов в день.

Анализ затрат

Одним из существенных преимуществ GPT 3.5 Turbo является то, что он стоит в десять раз дешевле DaVinci. Однако тонкая настройка этой модели в настоящее время недоступна. Цены на Turbo основаны на токенах (Что такое токен?), Как и в более старых моделях, и с пользователя взимается плата за каждую 1000. По оценкам Open AI, около 750 слов равны 1000 токенов, поэтому абзац состоит из тридцати пяти токенов.

Open AI предоставляет базовые модели для реализации через свой API.

Turbo дешевле, чем DaVinci, поскольку он оптимизирован для ввода в чат. Поскольку DaVinci требует больше ресурсов, стоимость вызова API выше. OpenAI предполагает, что для приложений, требующих глубокого понимания контента, таких как обобщение для конкретной аудитории и создание творческого контента, DaVinci даст наилучшие результаты.

Турбо против ChatGPT

В предыдущем отчете мы попросили ChatGPT написать статью с использованием набора данных (от Kaggle), содержащего уровень безработицы в США. ChatGPT смог идентифицировать данные, статистические значения и идеи на основе предоставленных входных данных. Однако то же самое было невозможно в Turbo из-за ограничения токена в 4096 токенов (см. скриншот ниже).

Из этого мы можем сделать вывод, что дизайн системы ChatGPT позволяет превысить лимит токенов модели Turbo (возможно, за счет некоторой формы сжатия или выбора данных). OpenAI предполагает, что если имеется слишком много токенов, чтобы соответствовать максимальному пределу модели (например, более 4096 токенов для gpt-3.5-turbo), входные данные должны быть усечены, удалены или уменьшены (Источник).

Возможные варианты использования

Как предполагает Open AI, большинство вариантов использования моделей DaVinci можно перенести на Turbo. Вот несколько других вариантов использования, где Turbo может быть полезен:

  • Настраиваемые чат-боты: Turbo — это диалоговая модель, наиболее распространенным вариантом использования будет настраиваемый чат-бот. Недавно Snap Inc., создатель Snapchat, выпустила Мой ИИ для пользователей Snapchat+.
  • Образовательные/учебные платформы: настраиваемые чат-боты могут быть созданы для целей образования или обучения, чтобы изучать и практиковать определенный предмет. Например, Quizlet представил Q-Chat, который представляет собой репетитор по адаптивному ИИ, который задает учащимся адаптивные вопросы на основе соответствующих учебных материалов.

Заключение и дальнейшие шаги

В заключение, модели Turbo обеспечивают производительность на уровне моделей DaVinci, но на 10 % дешевле. Однако ограничение в 4096 токенов может быть ограничением для некоторых вариантов использования, как показано в примере с набором данных об уровне безработицы в США. Open AI также обновила свою политику защиты данных, заявив, что данные не будут использоваться для обучения или улучшения моделей, что является хорошей новостью для корпоративных пользователей, однако отсутствие у них центров обработки данных в Европе может привести к проблемам GDPR.

В целом, GPT 3.5 Turbo — это экономичный вариант для случаев использования диалогового чата, но модели DaVinci могут лучше подходить для задач, требующих глубокого понимания контента, таких как обобщение или создание творческого контента.

Open AI также предоставила свой API Whisper с открытым исходным кодом, который представляет собой модель преобразования речи в текст. Мы в Версии 1 в настоящее время анализируем эту функцию, а также смотрим на другие появляющиеся модели эквивалентного размера или сложности и анализируем, как они работают по сравнению с текущими современными моделями. Следите за обновлениями и посетите Инновационные лаборатории, чтобы узнать, что версия 1 может сделать для вас.

Об авторе:
Рохит Винсент (Rohit Vincent) работает специалистом по данным в Версии 1.

Подробнее о ГПТ-3 здесь.