Около полугода назад я наткнулся на новостной репортаж о GPT-3, и с тех пор я очарован этой технологией. Не имея образования в области машинного обучения, я воздержусь от подробных объяснений того, как работает эта технология. Меня гораздо больше интересуют социальные и юридические последствия, которые могут последовать за рождением GPT-3 и подобных языковых моделей ИИ.

В этом посте я объясню, что такое GPT-3, как он работает, для чего его можно использовать и какие последствия он представляет. Наконец, я коснусь более всеобъемлющего теоретического вопроса: Склоняется ли GPT-3 к тому, чтобы быть сложной уловкой или путем к созданию общего искусственного интеллекта (AGI)?

GPT-3 — что это такое?

В мае 2020 года компания OpenAI, занимающаяся исследованиями и внедрением искусственного интеллекта, опубликовала статью под названием Языковые модели — это малоэффективные учащиеся, в которой они представили Генеративный предварительно обученный преобразователь третьего поколения под названием GPT-3.

Имея несколько примеров, GPT-3 может написать все, что вы хотите. Бизнес-идеи, новости, романы, веб-сайты, сценарии, он может даже создавать синтетические фотографии или видео, создавать приложения и так далее. Он также может создавать убедительные олицетворения; см., например, Dr. Сьюза об Илоне Маске, или Интервью Тима Ферриса с Марком Аврелием (подробнее см. здесь).

GPT-3 — это алгоритм глубокого обучения, предназначенный для обработки естественного языка. Он отличается от своих старших братьев, GPT-1 2018 года и GPT-2 2020 года, тем, что обучается на гораздо больших наборах данных. В то время как GPT-2 обучался с использованием 1,5 миллиарда параметров данных с 8 миллионов различных веб-страниц [1], GPT-3 обучался с использованием 175 миллиардов параметров со всех уголков Интернета и отсканированных книг. [2]. в перспективе все статьи из Википедии были включены в обучающую выборку GPT-3, и это составляло лишь около 0,5% от полной обучающей выборки. [3]

GPT-3 распространяется исключительно по лицензии OpenAI для Microsoft. Частный доступ к бета-интерфейсу прикладного программирования (API) GPT-3 может быть предоставлен по запросу. [4]

Как работает GPT-3

На самом базовом уровне языковая модель — это модель искусственного интеллекта, обученная предсказывать следующее слово в тексте на основе предыдущего слова (слов). [5] Мало чем отличается от функции автотекста на смартфоне. Для любого текста API GPT-3 вернет текстовое завершение, пытаясь сопоставить заданный вами шаблон. [6] Показав GPT-3 несколько примеров того, что вам нравится делать, вы также можете запрограммировать ” это под конкретную задачу.«[7]

GPT-3 независим от задач, что означает, что он может выполнять задачи без какой-либо точной настройки. В отличие от других языковых моделей, ориентированных на конкретные задачи, GPT-3 имеет возможность распознавать шаблон и выполнять задачу с очень небольшим количеством предварительных примеров или без них. Используя некоторые технические термины, GPT-3 в целом хорошо работает в задачах с нулевым, однократным или несколькими выстрелами. На изображении ниже показано объяснение трех настроек при переводе с английского на французский. [8]

В приведенном выше примере человек, скорее всего, знал бы, что делать, просто из текстовой инструкции. Однако во многих других сценариях люди не могут понять содержание или формат задачи, если не приведены предшествующие примеры задачи. В этом свете команда OpenAI комментирует в своей статье [9], что настройка нулевого выстрела во многих случаях является несправедливо сложной, в то время как однократная настройка больше всего напоминает то, как задачи сообщаются людям.

Команда OpenAI оценила возможности GPT-3 в самых разных задачах с настройкой «нулевой выстрел», «один выстрел» и «несколько выстрелов». GPT-3 тестировался в различных языковых тестах, где он должен был предсказать последнее слово предложения, закончить рассказ, ответить на вопросы о широких фактических знаниях, перевести тексты на разные языки (английский, французский, немецкий, румынский), ответить на вопросы о том, как работает физический мир, отвечает на вопросы с несколькими вариантами ответов, основанные на тексте, понимает взаимосвязь между двумя предложениями, выполняет вычисления с использованием до пяти цифр, решает головоломки со словами, исправляет английскую грамматику, использует новые «фантазийные слова» в предложении и создавать новостные статьи.

Неудивительно, что GPT-3 работал экспоненциально лучше, чем больше примеров он скармливал до выполнения задачи. Отсюда и название статьи: Языковые модели — это малоэффективные ученики. Многие из небольших результатов (обычно от 10 до 100 примеров давались перед заданием) лишь немного отставали, а иногда даже превосходили точно настроенные современные модели. [10] Что делает GPT-3 настолько новаторский, что не его способность преуспеть в конкретной языковой задаче, а скорее его способность быстро адаптироваться к новым задачам и учиться на примерах.

GPT-3 — новостные статьи и поддельные новости

В моем последнем письме я рассказал, как «фейковые журналисты с фотографиями профиля, сгенерированными GAN, могут публиковать и делиться статьями в социальных сетях для распространения ложной информации или фейковых новостей. GPT-3 может генерировать полные статьи, которые практически невозможно отличить от статей, написанных людьми.

Согласно исследовательской статье OpenAI [11], набор данных, использованный для обучения GPT-3, не был ориентирован на новостные статьи. В результате GPT-3 часто интерпретировал предложенное первое предложение новостной статьи как твит, а затем публиковал синтетические ответы или последующие твиты. Поэтому команда использовала возможности GPT-3 с небольшим количеством выстрелов, предоставив только три новостных статьи, чтобы обусловить их. Имея заголовок и подзаголовок предлагаемого текста, GPT-3 может создавать короткие статьи в новостном жанре.

Чтобы выяснить, насколько хорошо люди-оценщики могут определить, была ли статья написана GPT-3 или человеком-журналистом, команда OpenAI выбрала 12 статей из Reuters и использовала заголовки и подзаголовки для создания 12 статей GPT-3. 80 участников теста спросили, какой из них был написан человеком, а какой — GPT-3. Только в 52% случаев участник мог заметить разницу.

Студент американского университета Лиам Порр в 2020 году завел блог, весь контент которого был написан GPT-3. За две недели блог привлек 26 000 посетителей и пост GPT-3: «Чувствуете себя непродуктивно? Может быть, тебе стоит перестать слишком много думать. стал самым читаемым постом на технически подкованном сайте социальных новостей Hacker News. Из 26 000 посетителей только один пользователь прокомментировал, возможно, в шутку, что пост выглядит так, как будто его мог бы написать GPT-3. Комментарий, за который сообщество проголосовало против и получил резко негативные ответы.

После эксперимента Лайам Порр сделал интересное наблюдение [12]:

«GPT-3 отлично подходит для создания красивого языка, который затрагивает эмоции, а не жесткую логику и рациональное мышление».

Причина, по которой GPT-3 не силен в жесткой логике или рациональном мышлении, кажется мне очевидной: GPT-3 не имеет восприятия реальности. Он хорошо имитирует человеческий интеллект, но не понимает слова, которые генерирует. В результате понимание мира GPT-3 часто серьезно отклоняется».[13] токсичность интернета. Он потворствует предвзятости и дискриминации по отношению к расе, полу и религии, извергает ненормативную лексику, отпускает расистские шутки, потворствует терроризму и обвиняет людей в насилии».[14]»

Чтобы сделать такую ​​модель ИИ, как GPT-3, безопасной и гарантировать, что она приносит пользу всему человечеству [15] (миссия, изложенная в Хартии OpenAI), похоже, разработчикам необходимо улучшить ее возможности. для рассуждений и рационального мышления. По сути сделать его более человечным.

Подготовка к прохождению теста Тьюринга

Тест Тьюринга, возможно, является наиболее признанным эталоном для измерения того, является ли машина умной. Она была предложена Аланом Тьюрингом в его статье Вычислительные машины и интеллект от 1950 года под названием игра в имитацию [16]:

«В нее играют трое: мужчина (A), женщина (B) и следователь ©, который может быть любого пола. Следователь остается в комнате отдельно от двух других. Цель игры следователя состоит в том, чтобы определить, кто из двух других является мужчиной, а кто женщиной. Он знает их по ярлыкам X и Y, а в конце игры говорит либо «X есть A, а Y есть B», либо «X есть B и Y есть A» (..)

Для того, чтобы тон голоса не помогал следователю, ответы должны быть написаны письменно, а еще лучше - напечатаны на машинке. Идеальным вариантом является наличие телетайпа для связи между двумя комнатами (..)

Теперь мы задаем вопрос: «Что произойдет, когда машина возьмет на себя роль А в этой игре?» Будет ли следователь принимать ошибочные решения так же часто, когда игра ведется таким образом, как он делает это, когда игра ведется между мужчина и женщина?»

Если человек может общаться с А) человеком и Б) машиной, и после пяти минут допроса все еще не может сказать, кто из них А), а кто Б), машина, по определению Тьюринга, прошла тест»[17]. ]» Тьюринг предсказал, что машины смогут пройти тест через полвека, но до сих пор ни один компьютер или модель ИИ не справились с этой задачей.

Некоторые исследователи утверждают, что невозможно запрограммировать машину на овладение человеческим диалогом в его полной общности по математическим причинам. [18] Во-первых, не существует математической модели, которую можно было бы использовать в качестве отправной точки для создания такой машины. Во-вторых, модели машинного обучения нельзя расширить, чтобы они справлялись с человеческим диалогом.

Однако, если GPT-3 может генерировать новостные статьи, которые выглядят так, как будто они написаны людьми, и может обманывать читателей в 52% случаев, модель ИИ, которая может участвовать в убедительном человеческом диалоге в реальном времени, не кажется чем-то надуманным. .

GPT-3 уже показывает намеки на наличие AGI, поскольку он может хорошо справляться с широким спектром задач, а также имеет возможность изучать новые задачи. Как было сказано выше, GPT-3 обучался на 175 миллиардах параметров. Для сравнения, человеческий мозг состоит из более 125 триллионов синапсов. Синапсы — это каналы в центральной нервной системе, которые позволяют сигналу проходить от одного нейрона к другому. [19] 4 будет дополнен более чем 125 триллионами параметров — позволит ли это ему общаться как человек? Ходили слухи, что GPT-4 будет содержать около 100 триллионов параметров. [21]

GPT-3 — модель для достижения AGI?

Остается первоначальный вопрос: является ли модель, лежащая в основе GPT-3, просто изощренным трюком или путем к достижению ОИИ? Лучше сформулировать вопрос так: можно ли когда-нибудь достичь ОИИ путем создания все более и более крупных моделей со все большим числом параметров? Лично мне трудно увидеть момент, когда эти непостижимые большие модели ИИ «оживают».

Как пишет канадский ученый-компьютерщик Ричард Саттон в своем эссе Горький урок от марта 2019 г. [22]:

«(..) действительное содержание разума чрезвычайно, непоправимо сложно; мы должны перестать пытаться найти простые способы думать о содержании разума, такие как простые способы думать о пространстве, объектах, множественных агентах или симметриях. Все это часть произвольного, внутренне сложного внешнего мира. Их не следует встраивать, поскольку их сложность бесконечна; вместо этого мы должны встраивать только метаметоды, которые могут найти и уловить эту произвольную сложность. Существенным для этих методов является то, что они могут находить хорошие приближения, но искать их следует нашими методами, а не нами. Нам нужны агенты ИИ, которые могут обнаруживать так же, как мы, а не содержат то, что обнаружили мы. Встраивание наших открытий только усложняет понимание того, как можно осуществить процесс открытия».

По сути, я считаю, что Ричард Саттон говорит здесь о том, что AGI нельзя достичь, обучая существующие модели на все больших и больших наборах данных. Вместо этого, если мы хотим создать действительно интеллектуальные системы, нам понадобится другой подход, при котором мы учим системы учиться так же, как учатся люди. Основное препятствие, очевидно, заключается в том, что ИИ на данный момент не способны ощущать и воспринимать мир так, как это делаем мы, люди. [23]

Основываясь на этих наблюдениях, я считаю, что GPT-3 больше склоняется к тому, чтобы быть сложной уловкой, чем путем к AGI. Однако только время может сказать, действительно ли мы строим монстра Франкенштейна, ракетный корабль или просто все более и более мощный источник развлечений и чудес.

[1] https://openai.com/blog/better-language-models/ (06–11–2021).

[2] Киндра Купер (2021), OpenAI GPT-3: все, что вам нужно знать à https://www.springboard.com/blog/ai-machine-learning/machine-learning-gpt-3-open -ай/ (09–11–2021).

[3] Ноа Джансиракуса (2021 г.), Как алгоритмы создают и предотвращают фальшивые новости — изучение влияния социальных сетей, дипфейков, GPT-3 и т. д., стр. 33.

[4] https://openai.com/blog/openai-api/ (20–11–2021).

[5] https://medium.com/unpackai/language-models-in-ai-70a318f43041 (11–11–2021).

[6] https://openai.com/blog/openai-api/ (14–11–2021).

[7] Там же.

[8] Из Брауна и др. (22 июля 2020 г.), Языковые модели — это немногие ученики, 22 июля, —› https://arxiv.org/pdf/2005.14165.pdf.

[9] Там же. стр. 6–7.

[10] Там же. стр. 7.

[11] Там же. стр. 25.

[12] https://liamp.substack.com/p/my-gpt-3-blog-got-26-thousand-visitors (31–10–2021).

[13] Гэри Маркус и Эрнест Дэвис (2020), GPT-3, Bloviator: генератор языка OpenAI понятия не имеет, о чем говорит https://www.technologyreview.com/2020/08/22/1007539/gpt3 -openai-язык-генератор-искусственный-интеллект-ai-мнение/.

[14] https://www.wired.com/story/efforts-make-text-ai-less-racist-terrible/ (21–11–2021).

[15] https://openai.com/charter/ (07–11–2021).

[16] А. М. Тьюринг (1950), Вычислительные машины и интеллект, разум, том LIX, выпуск 236, октябрь 1950 г., страницы 433–460, https://doi.org/10.1093/mind/LIX.236.433.

[17] Там же.

[18] Дж. Ландгребе и Б. Смит (2019), Общего искусственного интеллекта не существует

[19] https://www.verywellhealth.com/synapse-anatomy-2795867 (21–11–2021).

[20] https://www.youtube.com/watch?v=kpiY_LemaTc (21–11–2021).

[21] https://www.wired.com/story/cerebras-chip-cluster-neural-networks-ai/ (21–11–2021).

[22] Рич Саттон (2019), Горький урок -›http://www.incompleteideas.net/IncIdeas/BitterLesson.html (21–11–2021).

[23] См. Dreyfus HL, Dreyfus SE (1986). Разум над машиной. Бэзил Блэквелл.