Создатели:Сухас Пай, Набила Абрахам
Цель: предоставить пользователям возможность тонко настраивать преобразователи для своих собственных задач НЛП.
Уровень аудитории: средний
Основная концепция.Архитектура на основе трансформатора — это основная концепция, которую вы узнаете из следующих ресурсов.
Основная концепция: вам нужно знать механизм внимания, чтобы изучить основную концепцию.
Последняя концепция: как только вы узнаете основную концепцию, вы можете изучить Longformer, DistillBert, TransformerXL
Ресурсы
Вы должны просмотреть следующие ресурсы в указанном порядке:
- Иллюстрированный трансформер
Тип:запись в блоге; Теория, основная концепция
Приблизительное время выполнения: 60 минут.
Почему это хороший ресурс? В этом блоге представлен интуитивно понятный способ визуализации преобразователей и матриц запроса, ключа и значения.
Как использовать этот ресурс:прочитайте сообщение в блоге полностью, обратите внимание на визуальные эффекты.
Инструктор:Джей Аламмар
Ссылка: http://jalammar.github.io/illustrated-transformer/
2. [Трансформер] Внимание — это все, что вам нужно
Тип:Видео; Теория, основная концепция
Приблизительное время выполнения: 60 минут.
Почему это хороший ресурс? Это видео представляет собой групповое обсуждение трансформаторных сетей, которое должно помочь вам найти ответы на наиболее часто встречающиеся заблуждения по этой теме.
Как пользоваться этим ресурсом:посмотреть видео целиком.
Докладчик:Джо Палермо
Дата создания:октябрь 2018 г.
Ссылка: https://ai.science/e/transformer-networks-attention-is-all-you-need--2018-10-22
3. Руководства по PyTorch Transformers
Тип:Репозиторий GitHub; Реализация, основная концепция
Приблизительное время выполнения: 90 минут.
Почему это хороший ресурс? Это простое для понимания руководство по коду, реализующее Transformers.
Как использовать этот ресурс:запустите блокноты
Язык:Python
Создатель:Абхи Мишра
Потребность в вычислительных ресурсах: средняя
Последнее обновление репозитория:2020
Ссылка: https://github.com/abhimishra91/transformers-tutorials
4. BERT: объяснение современной модели НЛП
Тип:сообщение в блоге; Применение, последующая концепция
Приблизительное время выполнения: 20 минут.
Почему это хороший ресурс? В этом сообщении блога описаны некоторые из наиболее важных вариантов использования, которые можно использовать. Он также дает хорошие оценки того, какие вычисления необходимы для использования BERT в реальной жизни.
Как использовать этот ресурс:прочитайте сообщение о различных вариантах использования BERT.
Авторы:Рани Ховер
Ссылка: https://www.kdnuggets.com/2018/12/bert-sota-nlp-model-explained.html
