4 парадигмы в НЛП

(Это серия из нескольких частей, описывающая парадигму подсказок в НЛП. Содержание вдохновлено этой статьей (обзорным документом, объясняющим методы подсказок в НЛП)

Я наткнулся на эту замечательную статью по подсказкам, когда проходил этот замечательный курс Advanced NLP (UMass). Будучи обзорной статьей, они дали целостное объяснение этой последней парадигмы в НЛП.

В нескольких статьях мы обсудим основные моменты статьи и узнаем, почему подсказки считаются «вторым морем перемен в НЛП».

Чтобы понять, что побуждает и начать работу, в части 1 обсуждаются 4 основные парадигмы, возникшие за последние годы.

Давайте начнем !!

Обучение с полным учителем (не нейронная сеть)
— на базе —
Разработка функций

  • Обучение с учителем требует примеров ввода-вывода для обучения модели.
  • В эпоху до нейронных сетей эти модели НЛП требовали
    разработки признаков, когда исследователи НЛП используют знания предметной области для извлечения признаков из ограниченных данных и внесения в модель индуктивной предвзятости.
  • Не было НЕТ связи между языковыми моделями и нижестоящими задачами, которые были решены. Каждая задача должна была иметь свою обученную модель

Обучение с полным учителем (нейронная сеть)
— на базе —
Architecture Engineering

  • Появились нейронные сети, а вместе с ними и автоматическое изучение функций из обучающих данных. Ручная разработка признаков больше не нужна
  • Акцент сместился на разработку архитектуры, где архитектура NN была спроектирована так, чтобы обеспечить соответствующее индуктивное смещение модели.
  • Опять же, Никакой связи между обучением языковых моделей и решением последующих задач. Каждая задача решалась с использованием собственной архитектуры модели.

— — — — —— Первая Морская Перемена — — —— —

Предварительная подготовка и точная настройка
— на базе —
Objective Engineering

  • Это был первый раз, когда языковая модель была предварительно обучена на больших объемах данных, а затем адаптирована к последующим задачам путем тонкой настройки с использованием конкретных задач.
  • Акцент сместился на объективную инженерию — разработку целей обучения как на этапе подготовки, так и на этапе тонкой настройки.
  • На приведенной ниже диаграмме показано, как языковые модели играют центральную роль в этой парадигме. Неконтролируемое обучение LM сочетается с контролируемой тонкой настройкой для конкретной задачи.

— — — — — —Вторая смена моря — — — — —

Предварительная подготовка, подсказка, прогнозирование
— на основе —
Prompt Engineering

  • Вместо того, чтобы адаптировать LM к конкретной задаче с помощью объективной инженерии, последующие задачи переформулируются с помощью текстовой подсказки.
    Например: найти эмоцию «я сегодня опоздал на автобус», отправьте модель «Сегодня я опоздал на автобус. Я чувствовал себя таким _____». Обученный LM попытается заполнить пробел соответствующей эмоцией, в конечном итоге передав нам введенную эмоцию.
  • Это не требует специального обучения
  • Это требует сосредоточения внимания на разработке подсказок, поскольку подсказки должны быть правильно спроектированы, чтобы получить соответствующий / желаемый ответ от модели.

Это все для части 1!! Во второй части мы углубимся в подсказки, их основы, приложения, различные аспекты дизайна при разработке подсказок и т. д.

Подпишитесь на меня и Подпишитесь, чтобы не пропустить серию Подсказки и следующие статьи по ML/NLP