Искусственный интеллект: гонка вооружений, которую никто не хочет контролировать

Я не боюсь ни одной из существующих машин; чего я боюсь, так это необычайной скорости, с которой они становятся чем-то совершенно отличным от того, чем они являются сейчас. Ни один класс существ никогда в прошлом не продвигался так быстро вперед. Не следует ли ревностно наблюдать за этим движением и контролировать его, пока мы еще можем это проверить? (…) Разве не больше людей занято обслуживанием машин, чем людьми? Разве мы не сами создаем себе преемников во владычестве земли? Ежедневно добавляя красоту и утонченность своей организации, каждый день давая им все больше навыков и предоставляя все больше и больше той саморегулирующейся, самодействующей силы, которая будет лучше любого интеллекта?

Сэмюэл Батлер, Эревон. 1872 г.

Каждое поколение думает, что проблемы, с которыми они сталкиваются, новые, но на самом деле это редко. И это также верно в отношении проблем, с которыми мы сталкиваемся в связи с развитием искусственного интеллекта (ИИ). Кажется, они уже предвидели это 150 лет назад, во время промышленной революции в Англии. У вас наверняка возникнет желание прочитать эти размышления в романе, написанном в девятнадцатом веке.

Мы закрыли Научную нехудожественную литературу, первую часть нашего взгляда на эту тему, а Ник Бостром задумался, что мы можем сделать, чтобы увеличить наши шансы на выживание как биологический вид до появления сверхразумной системы. Сейчас одни эксперты говорят, что до этого еще далеко, другие говорят, что мы можем оказаться на грани того сценария, который произойдет в ближайшие 20–40 лет. Учитывая, что до 30% этих экспертов считают, что, когда он появится, результат будет для нас либо плохим, либо очень плохим, это, безусловно, то, о чем мы должны говорить. Иметь 30% шанс принадлежности к исчезающему виду - это определенно не круто. 1 или 2%, хорошо, я могу с этим жить, но… 30% ??

Споры о возможных последствиях развития ИИ сегодня сосредоточены на очень серьезных вещах, которые уже существуют и которые, безусловно, заслуживают такой дискуссии. Некоторые из них мы уже упоминали в предыдущей статье: система социального кредита, применяемая в Китае, летальное автономное оружие или эффект предвзятости в программном обеспечении для распознавания лиц, используемом полицией. Однако тот факт, что через несколько лет будущее Терминатора может сбыться, но на этот раз без Джона Коннора, сопротивления или какой-либо надежды, похоже, нас не сильно беспокоит.

Это довольно странно. Разве нам всем не должно быть очень страшно? Или иначе: почему об этом почти никто не говорит?

Кажется, есть несколько причин. Во-первых, у вас есть эффект научной фантастики: есть тенденция считать тех, кто осмеливается давать такие радикальные прогнозы, ненаучными или легкомысленными. Есть и причины, связанные с человеческой природой: мы запрограммированы беспокоиться о прямых и конкретных угрозах, а не о будущих и абстрактных. Кроме того, в нашей природе встроен эффект принятия желаемого за действительное: если нам говорят, что с ИИ будущее будет прекрасным, зачем беспокоиться. Оставим это на усмотрение экспертов, они наверняка знают, что делают. Звонить в звонок? Другая возможная причина заключается в том, что существует некоторая усталость от технического прогресса: мы видели так много изменений за последние годы, что революционные вещи, такие как AlphaZero, почти не попадают в заголовки в технических СМИ. Наконец, возможно, одной из ключевых причин является эффект гонки вооружений, при котором агенты, возглавляющие эту революцию, стараются убедиться, что опасения по поводу ИИ не создают дополнительных препятствий, поскольку это задержит их, принося пользу их конкуренты.

Давайте сначала посмотрим на эффект научной фантастики. Еще не так давно системы с человеческим интеллектом, не говоря уже о появлении искусственного суперинтеллекта, считались нереальными событиями или, по крайней мере, чем-то, о чем нужно было беспокоиться очень давно. Однако за последние два десятилетия ситуация радикально изменилась. Когда Рэй Курцвейл в своей книге Эпоха духовных машин утверждал, что машина пройдет тест Тьюринга к 2029 году, общая реакция экспертов была, мягко говоря, недоверием. Многие критики считали, что он не был серьезным ученым, другие отвергли предсказание, как глупое. Большинство было уверено, что если это произойдет, что в действительности было очень сомнительно, то пройдут сотни лет назад. Итак, Рэй опубликовал книгу в 1999 году. В обзоре 2013 года, то есть менее чем через 15 лет, консенсус среди тех же самых экспертов снизился с через сотни лет до к 2040-м годам. Рэй справедливо говорит, что, если они будут поддерживать ритм, они в конечном итоге будут критиковать его как консерватора. (Фактически, опрос 2018 года среди населения США в целом показал, что к 2028 году вероятность их возникновения превысит 50%).

Вы должны быть очень осторожны, чтобы отвергать предсказания, которые выглядят как научная фантастика, потому что для того, чтобы художественная литература стала научной, иногда вам просто нужно добавить таланты с очень высокими стимулами. Стюарт Рассел, другой ведущий исследователь в области искусственного интеллекта, рассказывает следующую историю: лорд Эрнест Резерфорд, ученый, который обнаружил, что атомы содержат большие запасы энергии, сказал, однако, в 1933 году, что всякий, кто ожидает источника энергии от превращения этих атомов говорит самогон . На следующий день другой ученый прочитал комментарий, и он ему немного не понравился. Раздраженный, он пошел на прогулку и совершенно неожиданно пришел к идее ядерной цепной реакции. Несколько лет спустя, имея стимул выиграть мировую войну, эта идея была реализована на практике, и Соединенные Штаты создали атомную бомбу. Стюарт использует эту историю как пример, на котором мы могли бы научиться быть осторожными. Он указывает, что что касается стимулов, миллиарды долларов вкладываются в развитие ИИ; немыслимые прорывы могут действительно происходить от одного момента к другому, превращая то, что до этого было самогоном или научной фантастикой, в науку.

Однако совершенно очевидно, что эффект научной фантастики все еще силен. Несмотря на все достижения этого десятилетия, несмотря на работу таких людей, как Ник Бостром, и несмотря на то, что такие авторитетные общественные деятели, как Билл Гейтс или Стивен Хокинг предупреждали, что мы должны серьезно отнестись к худшему сценарию. Но прошло несколько лет с тех пор, как Гейтс и Хокинг сделали свои заявления, и правда в том, что общих дебатов, которые они хотели начать, не происходит.

Оставив академический мир и спустившись на главную улицу, мы увидим то же самое. Серьезные СМИ говорят о проблемах, которые у нас уже есть, но почти ничего не говорят о том, что может произойти через несколько лет. Неудивительно, что DeepMind попал в заголовки газет и получил широкое внимание только тогда, когда имелся спортивный аспект: человек против машины в финальном испытании Ли Седол против AlphaGo. И когда мы говорим о массовом внимании, это в некоторой степени ограничивается Японией, Китаем и Кореей, где го (настольная стратегическая игра) - это больше, чем просто один из национальных видов спорта. Возможно, для того, чтобы действительно провести массовые дебаты по поводу ИИ, имена Стивена Хокинга и Ли Седола следует заменить в заголовках на имена Ким Кардашьян и Флойда Мэйвезера.

Давайте перейдем к следующей причине, по которой эти дебаты практически не ведутся сегодня, - это человеческая природа. Следует понимать, что с точки зрения эволюции мы более или менее такие же существа, какими были сто тысяч лет назад, и поэтому наш вид создан для жизни в условиях, сильно отличающихся от нынешних. Охотникам-собирателям, которыми Homo Sapiens провел 90% своего времени на этой земле, приходилось иметь дело не с будущими и абстрактными угрозами, а с очень прямыми и конкретными: я бы предпочел не залезть на это дерево, чтобы посмотреть. за яйца, потому что они слишком высоки, и я могу упасть; этот гриб не выглядит слишком вкусным, лучше его не есть; ветер приносит запах тигра, поехали! Что касается долгосрочных стратегий, то охотники-собиратели в лучшем случае оценивали переезд в другую местность, чтобы повысить свои шансы на выживание: становится холодно; найти еду становится все труднее; здесь слишком много хищников.

Когда мы перестали собирать фрукты и перемещаться с территории небольшими стадами, а начали продавать производные финансовые инструменты и вести оседлый образ жизни в мегаполисах внутри национальных государств, стратегическое управление угрозами стало намного сложнее. Наша эволюционная подготовка перестала быть актуальной, за исключением, возможно, тех, кто живет в определенных районах этих мегаполисов. Социальные системы были расслоены, и решения о том, что представляет собой угрозу для всего общества и как ее избежать, были доверены нескольким лицам из верхних слоев. И эти более высокие слои становятся все более экспертами в управлении популяциями путем создания или усиления угроз, а также в предотвращении или подавлении других угроз в зависимости от того, что лучше всего соответствует их интересам.

Поэтому неудивительно, что некоторые из наиболее важных решений, которые были приняты в результате очень серьезных угроз, не были именно самыми выгодными для всего общества. И это несмотря на наличие большого количества информации и инструментов прогнозирования, которые становятся все более надежными. Давайте выделим, например, цепочку ошибок в расчетах, которая привела к кровавой бойне Первой мировой войны (особо отмечая общий энтузиазм, который передавался населению до того, как появилась возможность этой войны). Более насущный пример: конфликт интересов, который влияет на принятие решений по проблеме изменения климата (для моих акционеров более выгодно и, следовательно, лучше инвестировать часть моей прибыли в лобби, выступающие против изменения климата, чем решать проблему и вынуждены стратегически переориентировать мой бизнес.)

Во многих случаях, как индивидуально, так и коллективно, есть еще одна переменная, связанная с человеческой природой, которая также вступает в игру: эффект принятия желаемого за действительное или надежда на то, что все будет хорошо, и соответствующее планирование. Кажется, что в развитии ИИ этого много. Возможные благоприятные последствия настолько соблазнительны, что людям действительно хочется верить, что мы их добьемся. И это нормально, мы все хотим этих благоприятных последствий. Однако один из самых мудрых советов в книге любого хорошего отца (который копируют многие бизнес-гуру): Надейся на лучшее, готовься к худшему. Приятно думать и работать над тем, чтобы ИИ стал тем, что помогало нам жить намного больше и лучше; но в то же время необходимо подготовиться и спланировать, чтобы из мешка новых технологий не достать тот черный шар, который означал бы нашу гибель.

Говоря о новых технологиях, еще одна из упомянутых выше причин, по которой мы, кажется, не уделяем слишком много внимания революции искусственного интеллекта, - это именно техническая усталость. Отчасти это происходит из-за экспоненциальной кривой роста, которая, возможно, уже становится для нас немного крутой. Технологии развиваются быстрее, быстрее и с большим размахом. С трудом обращаем внимание на то, что нового, нас завалили предложением. Революционные новости об искусственном интеллекте, такие как AlphaGo, устарели через несколько месяцев с AlphaZero. Кто может не отставать?

Мы, кажется, тоже не совсем готовы к этому. Если вы достаточно взрослые, вы, вероятно, помните, что, когда вы привыкли к Интернету и электронной почте, мобильные телефоны стали массово появляться со своими приложениями и социальными сетями. И когда вы, наконец, приняли эту другую технологию, она пришла с беспрецедентным уровнем контроля и манипуляции в большом масштабе (как мы указывали в Кирпичах в вашей стене). Вопросы, поднятые писателем Ювалом Ноа Харари в этой статье для The Guardian, огромны: Как либеральная демократия функционирует в эпоху, когда правительства и корпорации могут взламывать людей? Что осталось от убеждений, что «избиратель знает лучше и покупатель всегда прав? Как вы живете, когда понимаете, что вы - животное, которое можно взломать, что ваше сердце может быть правительственным агентом, что ваша миндалина может работать на Путина и что следующая мысль, которая возникает у вас в голове, вполне может быть результатом какого-то алгоритма который знает тебя лучше, чем ты сам? " Размышления об этих проблемах, которые у нас уже есть, непреодолимы. Но это не значит, что мы не должны также думать о проблемах, с которыми нам придется столкнуться завтра, прежде чем они переедут нас (да, это снова метафора с грузовиком!).

Итак, мы подошли к последней причине, которую мы указали: эффекту гонки вооружений, тому термину, который, кажется, появился из холодной войны. Потому что действующими лицами, которые возглавляют разработку ИИ, являются правительства основных стран мира, конечно, во главе с США и Китаем; и крупные технологические компании, такие как Google, Facebook, Amazon, Microsoft, IBM, Baidu или Tencent. Актеры, обладающие огромной способностью влиять на дебаты, и слишком многое поставлено на карту, чтобы стесняться этого. Потому что те, кто сталкивается с большим количеством препятствий (критика, регулирование и тому подобное), вероятно, будут задержаны в гонке, давая преимущество своим конкурентам.

Думаю об этом. Какой будет приз победителю этой гонки? Если все пойдет «хорошо», это будет система, способная превратиться в сверхлюдей для тех, кто ее контролирует, имеет доступ или может себе это позволить. Система, которая могла бы дать начало другому виду, которая могла бы рассматривать людей как исключенных, поскольку люди считают шимпанзе, или, что еще хуже, как фермер считает своим домашним скотом. Система с потенциалом предоставить все свои преимущества первому и, если таковое решение, ни одному второму. Вот что поставлено на карту в гонке.

Раньше мы говорили о тенденции верхних слоев общества создавать или преумножать угрозы, которые лучше всего соответствуют их интересам, и игнорировать или замалчивать угрозы, которые им мешают. Однозначно можно сказать, что участники этой гонки - элита тех высших слоев. Как это бывает в любой гонке, чтобы прийти первым, нужно бежать быстрее других. И для этого вам лучше иметь самую быструю машину, потому что в противном случае вам придется брать на себя больше рисков, чтобы соревноваться.

Это, пожалуй, самое страшное: для этих гонщиков любой участник, прибывающий до финиша до них, кажется большей угрозой, чем более высокий риск, чтобы добраться до него первым, даже если это означает получение черного мяча для всех. Ну что ж, невезение, что ты собираешься делать? Тогда неудивительно, что никому из них не нравится, когда люди кричат ​​«вымирание!» и что они попытаются сделать все, что в их силах, чтобы предотвратить этот сценарий. Не вымирание, а крик людей.

Итак, вот несколько причин, по которым вы, скорее всего, не заметите приближающегося грузовика, пока он не окажется у вас. Давайте теперь внимательнее посмотрим на тех, кто участвует в гонке, и на то, что они делают.

Китайское государство, прежде всего, взяло на себя четкое и решительное обязательство ускориться и попытаться занять лидирующую позицию в ближайшие годы. Это, конечно же, включает в себя крупные китайские технологические компании, такие как Tencent или Baidu, и сотни новых стартапов в области ИИ, которые щедро финансируются. Другие переменные, которые здесь совпадают, - это огромная популяция с почти нулевой способностью протестовать или реагировать из-за возрастающей эффективности ее контроля, а также огромные возможности для сбора данных для подпитки систем искусственного интеллекта. Результат все больше и больше напоминает антиутопию Джорджа Оруэлла Девятнадцать восемьдесят четыре с некоторыми улучшениями, которые, кажется, взяты непосредственно из Черного зеркала, например, система оценки социального поведения. Ну, по крайней мере, они не очень заботятся о том, чтобы скрыть, что произойдет, если они выиграют гонку.

Теперь Соединенные Штаты - гораздо более сложный случай. Есть два основных игрока, которые стимулируют развитие искусственного интеллекта. Первый - это Пентагон с такими вещами, как теперь известный Project Maven, цель которого - ускорить анализ изображений, снятых военными дронами, автоматически классифицируя изображения объектов и людей (подумайте о его возможном использовании). Во-вторых, крупные технологические компании: прежде всего Google, Facebook, Amazon, Microsoft и IBM. И мы говорим, что ситуация более сложная, потому что в то время как в Китае все действующие лица более или менее согласованы, в Соединенных Штатах Пентагон и крупные технологические компании конкурируют за привлечение талантов профессионалов, одновременно участвуя в контрактах на разработку на миллиарды долларов. И это вызывает трение. Например, в прошлом году, столкнувшись с активностью своих сотрудников, Google отказался продлить свой контракт с Project Maven. Как объясняется в этой статье, существует конфликт интересов трех сторон: с одной стороны, профессионалов, в данном случае сотрудников Google, которые не хотят, чтобы их работа использовалась для убийства людей; с другой стороны, компании, у которых есть мандат от акционеров на получение и поддержание многомиллиардных контрактов независимо от подрядчика (которым может оказаться Китай, как в случае с Project Dragonfly); и, наконец, что не менее важно, Пентагон, который хочет использовать эту технологию, чтобы продолжать иметь военное преимущество над противниками США, и для этого они пытаются построить мост, чтобы сохранить разногласия с двумя другими сторонами, работая над Помогите нам, мы здесь хорошие ребята .

Из крупных технологических компаний Google - безусловно, самая активная компания в этой области. Фактически, по оценкам, 80% основных исследователей и разработчиков ИИ (например, Рэй Курцвейл) работают на Google или на некоторые из ведущих компаний, которые он приобретает, например, Boston Dynamics или DeepMind. Создатель и генеральный директор последнего, Деммис Хассабис, описывает его миссию следующим образом: Шаг первый, решай разведку. Шаг второй, используйте его, чтобы решить все остальное . В отрасли существует твердый консенсус в отношении того, что DeepMind - один из лучших участников для достижения этой цели. Их достижения в области применения алгоритмов глубокого обучения с подкреплением в играх стали впечатляюще успешной частью первого шага, и сам Деммис ожидает прорывного прогресса в гораздо более важных областях науки и медицины в ближайшие годы. В этом смысле они только что представили AlphaFold, систему, которая предсказывает структуру белков.

Одна из причин, по которой основатели DeepMind согласились на приобретение Google, заключалась в том, что соглашение включало создание совета по этике, чтобы гарантировать, что технология, которую они создали в будущем, не будет использоваться неправомерно. О том совете Ник Бостром сказал, что На мой взгляд, очень уместно, что организация, которая стремится« решить интеллектуальные проблемы , имеет процесс обдумывания того, что будет означать успех, даже несмотря на то, что это долгий срок. цель семестра (…) Лучше начать изучать их заранее, чем оставлять всю подготовку на ночь перед экзаменом ».

Конечно, нет недостатка в советах директоров, комитетах, институтах, форумах и других инициативах по этике и безопасности при использовании ИИ и его будущем. Крупные технологические компании создали одну из них с напыщенным названием Партнерство в области искусственного интеллекта на благо людей и общества. Илон Маск участвовал в другом, Open AI. В области университетов: Институт будущего человечества в Оксфорде, Исследовательский институт машинного интеллекта и Центр человеческого совместимого ИА в Беркли, Центр изучения экзистенциального риска в Кембридже или Институт будущего жизни Гарварда и Массачусетского технологического института был ответственен за публикацию нескольких ключевых статей и обзоров, которые то и дело даже попадают в заголовки.

Но правда в том, что общая ситуация довольно тревожная, как заявляет Келси Пайпер в этой статье. Аналогия, которую он использует, очень ясна: В целом« состояние поля немного похоже на то, как если бы почти все исследователи изменения климата были сосредоточены на управлении засухами, лесными пожарами и голодом, с которыми мы уже сталкиваемся сегодня, с только крошечная скелетная команда, занимающаяся прогнозированием будущего, и около 50 исследователей, которые работают полный рабочий день над созданием плана, чтобы изменить ситуацию ».

Вкратце: этике и безопасности при разработке ИИ не хватает государственной политики, согласованной на международном уровне, нет открытых и общих дебатов по его наиболее глубоким возможным последствиям, ключевые статьи, опубликованные об этом, едва выходят за рамки академической области, а ресурсы посвященные долгосрочным исследованиям и профилактике смехотворны. Между тем, гонка за ИИ, который дал бы определенное конкурентное преимущество перед корпоративными или геостратегическими конкурентами, получает финансирование в миллиарды долларов.

Итак, чтобы закончить метафорой, с которой мы начали все это, есть эти люди, участвующие в гонке на 8-осном грузовике с прицепом по дороге, полной кривых, которых у них нет на карте. Правила забега просты: победитель получает все. Скорость увеличивается, и никто не планирует сбавлять обороты. Вы идете по этой дороге, уставившись в свой мобильный телефон. А ваши дети играют где-то впереди, за поворотом.

Хорошего дня.

© Goonder 2019