4 парадигмы в НЛП
(Это серия из нескольких частей, описывающая парадигму подсказок в НЛП. Содержание вдохновлено этой статьей (обзорным документом, объясняющим методы подсказок в НЛП)
Я наткнулся на эту замечательную статью по подсказкам, когда проходил этот замечательный курс Advanced NLP (UMass). Будучи обзорной статьей, они дали целостное объяснение этой последней парадигмы в НЛП.
В нескольких статьях мы обсудим основные моменты статьи и узнаем, почему подсказки считаются «вторым морем перемен в НЛП».
Чтобы понять, что побуждает и начать работу, в части 1 обсуждаются 4 основные парадигмы, возникшие за последние годы.
Давайте начнем !!
Обучение с полным учителем (не нейронная сеть)
— на базе —
Разработка функций
- Обучение с учителем требует примеров ввода-вывода для обучения модели.
- В эпоху до нейронных сетей эти модели НЛП требовали
разработки признаков, когда исследователи НЛП используют знания предметной области для извлечения признаков из ограниченных данных и внесения в модель индуктивной предвзятости. - Не было НЕТ связи между языковыми моделями и нижестоящими задачами, которые были решены. Каждая задача должна была иметь свою обученную модель
Обучение с полным учителем (нейронная сеть)
— на базе —
Architecture Engineering
- Появились нейронные сети, а вместе с ними и автоматическое изучение функций из обучающих данных. Ручная разработка признаков больше не нужна
- Акцент сместился на разработку архитектуры, где архитектура NN была спроектирована так, чтобы обеспечить соответствующее индуктивное смещение модели.
- Опять же, Никакой связи между обучением языковых моделей и решением последующих задач. Каждая задача решалась с использованием собственной архитектуры модели.
— — — — —— Первая Морская Перемена — — —— —
Предварительная подготовка и точная настройка
— на базе —
Objective Engineering
- Это был первый раз, когда языковая модель была предварительно обучена на больших объемах данных, а затем адаптирована к последующим задачам путем тонкой настройки с использованием конкретных задач.
- Акцент сместился на объективную инженерию — разработку целей обучения как на этапе подготовки, так и на этапе тонкой настройки.
- На приведенной ниже диаграмме показано, как языковые модели играют центральную роль в этой парадигме. Неконтролируемое обучение LM сочетается с контролируемой тонкой настройкой для конкретной задачи.
— — — — — —Вторая смена моря — — — — —
Предварительная подготовка, подсказка, прогнозирование
— на основе —
Prompt Engineering
- Вместо того, чтобы адаптировать LM к конкретной задаче с помощью объективной инженерии, последующие задачи переформулируются с помощью текстовой подсказки.
Например: найти эмоцию «я сегодня опоздал на автобус», отправьте модель «Сегодня я опоздал на автобус. Я чувствовал себя таким _____». Обученный LM попытается заполнить пробел соответствующей эмоцией, в конечном итоге передав нам введенную эмоцию. - Это не требует специального обучения
- Это требует сосредоточения внимания на разработке подсказок, поскольку подсказки должны быть правильно спроектированы, чтобы получить соответствующий / желаемый ответ от модели.
Это все для части 1!! Во второй части мы углубимся в подсказки, их основы, приложения, различные аспекты дизайна при разработке подсказок и т. д.
Подпишитесь на меня и Подпишитесь, чтобы не пропустить серию Подсказки и следующие статьи по ML/NLP