Ежегодная конференция Североамериканского отделения Ассоциации компьютерной лингвистики (NAACL) - грандиозное событие в области обработки естественного языка. На NAACL 2019 было подано 1198 длинных и 757 коротких статей, всего 1955 статей. На конференцию было принято 424 доклада, что составило 22,6%.

Сегодня утром комитет конференции NAACL 2019 объявил о присуждении награды за лучшую работу. Synced подготовил краткое изложение работ-победителей:

ЛУЧШИЙ ДОПОЛНИТЕЛЬНЫЙ ДОКУМЕНТ

  • BERT: предварительная подготовка глубоких двунаправленных преобразователей для понимания языка
  • Авторы: Джейкоб Девлин, Мин-Вей Чанг, Кентон Ли и Кристина Тутанова (Google AI)
  • Ссылка на статью: https://arxiv.org/pdf/1810.04805.pdf
  • Аннотация: Мы представляем новую модель языкового представления под названием BERT, которая расшифровывается как двунаправленные представления кодировщика от Transformers. В отличие от недавних моделей языковых представлений (Peters et al., 2018; Radford et al., 2018), BERT предназначен для предварительного обучения глубоких двунаправленных представлений путем совместной обработки левого и правого контекста на всех уровнях. В результате предварительно обученные представления BERT могут быть настроены с помощью всего одного дополнительного выходного уровня для создания современных моделей для широкого круга задач, таких как ответы на вопросы и языковой вывод, без существенных задач. конкретные модификации архитектуры. BERT концептуально прост и эмпирически эффективен. Он обеспечивает новые современные результаты по одиннадцати задачам обработки естественного языка, включая повышение эталонного теста GLUE до 80,4% (абсолютное улучшение на 7,6%), точность MultiNLI до 86,7% (абсолютное улучшение на 5,6%) и SQuAD v1.1. ответ на вопрос Тест F1 - 93,2 (абсолютное улучшение на 1,5), что на 2,0 больше, чем у человека.

ЛУЧШАЯ ТЕМАТИЧЕСКАЯ БУМАГА

  • Что в имени? Снижение предвзятости в Bios без доступа к защищенным атрибутам
  • Авторы: Алексей Романов, Мария Де-Артеага, Ханна Валлах, Дженнифер Чайес, Кристиан Боргс, Александра Чулдечова, Сахин Гейик, Кришнарам Кентапади, Анна Румшиски и Адам Калаи (CMU, Microsoft Research, LinkedIn)
  • Ссылка на статью: https://128.84.21.199/abs/1904.05233
  • Аннотация: В контексте снижения предвзятости в классификации занятий мы предлагаем метод предотвращения корреляции между прогнозируемой вероятностью истинного занятия человека и словесным вложением его имени. Этот метод использует социальные предубеждения, которые закодированы во встраиваниях слов, устраняя необходимость доступа к защищенным атрибутам. Важно отметить, что для этого требуется доступ к именам людей только во время обучения, а не во время развертывания. Мы оцениваем два варианта предлагаемого нами метода, используя крупномасштабный набор данных онлайн-биографий. Мы обнаружили, что оба варианта одновременно уменьшают расовые и гендерные предубеждения, при этом почти не снижается общий показатель истинных положительных результатов классификатора.

ЛУЧШАЯ КРАТКАЯ СТАТЬЯ

  • Исследование необходимости визуального контекста в мультимодальном машинном переводе
  • Авторы: Озан Чаглаян, Пранава Мадхьястха, Люсия Специя и Лоик Барро (Университет Ле-Мана, Имперский колледж Лондона)
  • Ссылка на статью: https://arxiv.org/abs/1903.08678
  • Аннотация: В этой статье мы исследуем вклад визуальной модальности в современные модели MMT путем проведения систематического анализа, в котором мы частично лишаем модели текстового контекста на стороне источника. Наши результаты показывают, что в ограниченном текстовом контексте модели способны использовать визуальный ввод для создания лучших переводов. Это противоречит нынешнему мнению о том, что модели MMT игнорируют визуальную модальность либо из-за качества характеристик изображения, либо из-за того, как они интегрированы в модель.

ЛУЧШИЙ ИНФОРМАЦИОННЫЙ БУМАГА

  • CommonsenseQA: вопрос, ответ на вызов, ориентированный на здравый смысл
  • Авторы: Алон Талмор, Джонатан Херциг, Николас Лурье и Джонатан Берант (Тель-Авивский университет, Исследовательский институт искусственного интеллекта Алана)
  • Ссылка на статью: https://arxiv.org/abs/1811.00937
  • Аннотация: Чтобы исследовать ответы на вопросы с предварительными знаниями, мы представляем CommonsenseQA: сложный новый набор данных для ответов на вопросы на основе здравого смысла. Чтобы уловить здравый смысл за пределами ассоциаций, мы извлекаем из ConceptNet (Speer et al., 2017) несколько целевых концептов, которые имеют одинаковое семантическое отношение к единому исходному концепту. Рабочих просят составить вопросы с несколькими вариантами ответов, в которых упоминается исходная концепция и, в свою очередь, проводится различие между каждой из целевых концепций. Это побуждает работников создавать вопросы со сложной семантикой, которые часто требуют предварительных знаний. С помощью этой процедуры мы создаем 12 247 вопросов и демонстрируем сложность нашей задачи с большим количеством надежных базовых показателей. Наша лучшая базовая линия основана на BERT-large (Devlin et al., 2018) и дает точность 56%, что намного ниже производительности человека, которая составляет 89%.

ЛУЧШИЙ ДОКУМЕНТ ПО ОБЪЯСНИТЕЛЬНОМУ НЛП

  • CNM: Интерпретируемая комплексная сеть для сопоставления
  • Авторы: Цючи Ли, Беню Ван и Массимо Мелуччи
  • (Работа еще не опубликована)

NAACL 2019 пройдет в Миннеаполисе, США, со 2 по 7 июня.

Автор: Рейна Ци Ван | Редактор: Майкл Саразен

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.

Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.