Публикации по теме transformers

Публикации по теме 'transformers'

Знакомьтесь, Gorilla 🦍 : языковая модель, которая может взаимодействовать с более чем 1600 API и превосходит GPT-4…

Gorilla — это проект с открытым исходным кодом, созданный Шиширом Патилом, аспирантом систем машинного обучения в Калифорнийском университете в Беркли. Он основан на Falcon и MPT, двух мощных языковых моделях, которые были точно настроены для интеграции и использования API. Gorilla может анализировать абстрактное синтаксическое дерево (AST) при написании кода, что приводит к семантически и синтаксически правильным вызовам API. Это означает, что он может значительно уменьшить..

Как мы использовали нейронные сети Transformers для улучшения прогнозов временных рядов

В этой статье мы обсудим использование моделей преобразования для работы с данными временных рядов. Информация, представленная в этом тексте, основана на моем выступлении на конференции Linq . Я поделюсь результатами наших экспериментов с использованием моделей-трансформеров и их сравнением с методами повышения градиента, основными выводами и советами по использованию моделей-трансформеров для повышения производительности при выполнении задач с данными временных рядов. Меня зовут..

Простое описание механизма внимания

Эта часть основана на этот невероятном видео и этой удивительной всесторонней статье , поэтому, если вы хотите узнать больше, посетите эти ресурсы. Введение Мне потребовались годы, чтобы понять, как работает механизм внимания внутри архитектуры преобразователя, поэтому я написал эту статью как объяснение, предназначенное для людей, которые действительно хотят понять, как работает механизм внимания на довольно низком уровне без уравнений . Эта часть призвана дать вам понимание и..

Google заменяет BERT Self-Attention преобразованием Фурье: точность 92%, в 7 раз быстрее на графических процессорах

Архитектуры-преобразователи стали доминировать в области обработки естественного языка (NLP) с момента их появления в 2017 году. Одно из единственных ограничений для применения трансформатора - это огромные вычислительные затраты на его ключевой компонент - механизм самовнимания, который масштабируется с квадратичной сложностью относительно длины последовательности. Новое исследование, проведенное командой Google, предлагает заменить подслои самовнимания простыми линейными..

Получите дополнительное ускорение логического вывода LLM с помощью целочисленного квантования в PeriFlow

В FriendliAI нашим главным приоритетом является предоставление системы обслуживания с максимальной производительностью. Мы рады представить новую функцию, которая повышает производительность обслуживания за счет использования целочисленного квантования, созданного поверх PeriFlow Serving Engine. Что такое целочисленное квантование? Большие языковые модели содержат огромное количество операций с более чем миллиардами параметров. Среди операций «матмуль» (умножение матриц) занимает..

Раскрытие магии моделей GPT

Генеративные предварительно обученные трансформеры, или модели GPT, берут мир штурмом, революционизируя то, как мы взаимодействуем с искусственным интеллектом. От чат-ботов до создания контента и не только — модели GPT стали незаменимым инструментом для многих приложений. В этом блоге мы кратко рассмотрим внутреннюю работу этих моделей, чтобы помочь вам понять, что заставляет их работать. Архитектура: Трансформеры В основе моделей GPT лежит архитектура Transformer, представленная..

Бессерверный HuggingFace DALL-E Mini на Amazon SageMaker

DALL-E Mini , созданный Hugging Face — это трансформер текста в изображение, созданный Борисом Даймой и другими др. Это открытая версия DALL·E , созданная Open AI. DALL-E Mini и DALL-E Mega — более крупная модель-трансформер. Интересно, что модель HuggingFace DALL-E Mini включает в себя обе модели. Amazon SageMaker – это набор инструментов машинного обучения, предоставляемых Amazon Web Services для разработки моделей, включая сборку, обучение,..