ООН заявляет, что мы вступили на «неприемлемую моральную территорию»
По случаю празднования 75-летия Организации Объединенных Наций в январе этого года Антониу Гутерриш — Генеральный секретарь ООН — выступил с мрачной речью, которую лучше всего резюмирует его описание мира как сбившегося с пути. В список экзистенциальных угроз Гутерриша входили климатический кризис, геополитическая напряженность и злоупотребление новыми технологиями. В частности, он назвал одну из них:
«Смертельное автономное оружие — машины, способные убивать самостоятельно, без человеческого суждения и ответственности — заводят нас на неприемлемую моральную и политическую территорию».
В то время как государства могут спорить о том, являются ли смертоносные автономные системы оружия (или «роботы-убийцы» в народном воображении) «неприемлемо аморальными», не может быть никаких сомнений в том, что Гутерриш прав в отношении безотлагательности риска: разработка и использование автономного оружия одновременно ускоряется, а ставки — этические и политические — высоки.
Мировые вооруженные силы соревнуются за доминирование в этом новом классе интеллектуального оружия в течение многих лет, причем эта гонка вооружений ИИ происходит на фоне спорного глобального ландшафта, где преимущество в военном ИИ может иметь реальное значение для баланса сил. Эта геополитическая теория игр, которая ведет к такому прогрессу в совершенствовании военных машин, имеет нежелательное слепое пятно — исторически права человека мало учитывают в стратегических расчетах.
С Covid-19 ускорение автоматизации ускорилось на самых разных фронтах. Военные операции пришлось полностью переосмыслить — физическое дистанцирование на подводной лодке намного сложнее, чем физическое дистанцирование в супермаркете. Смертельный ИИ уже обладал некоторыми растущими преимуществами по сравнению с человеческими эквивалентами и теперь может добавить к этому списку «иммунитет от катастрофических вирусов». По всем этим причинам отслеживание гонки вооружений ИИ важнее, чем когда-либо.
Если это гонка, то кто победит?
Почти каждый месяц из заголовков военных новостей всплывает очередная новинка в области автономного оружия — автономный китайский вертолет-дрон Blowfish A3, оснащенный пулеметами, или российская армия беспилотных наземных транспортных средств «Маркер, вооруженная минометами и гранатометами. Нет никаких сомнений в том, что в мире военного ИИ много новых изобретений, но гораздо менее ясно, какая страна может похвастаться самыми сильными технологиями.
Ключевые фигуры в вооруженных силах США прямо предупреждали о мощи Китая в этой области. Относительно новый Объединенный центр искусственного интеллекта Министерства обороны США впервые создает возможности управления и контроля ИИ, явно ссылаясь на китайскую угрозу как на причину срочности министерства. Директор Центра генерал-лейтенант Джек Шанахан ясно заявил о своем желании максимально автоматизировать американскую военную машину:
«Чего я не хочу видеть, так это будущего, в котором у наших потенциальных противников есть силы, полностью оснащенные ИИ, а у нас нет».
В прошлом году такие высокопоставленные чиновники, как министр обороны США, предупредили, что китайские технологии на самом деле уже могут быть более продвинутыми, чем американские. Секретарь Марк Эспер предсказал, что Китай мог перепрыгнуть существующие американские технологии. При должной обеспокоенности военного истеблишмента расходы на смертоносное автономное оружие во всех родах американских вооруженных сил похоже, выйдут на новый уровень в 2020 году после того, как уже увеличились в 2019 году.
Со стороны Китая увеличение инвестиций в разработку автономного оружия является ключевым фактором в его продолжающихся усилиях по узурпации американского военного господства. Почти все крупномасштабные программы искусственного интеллекта в Китае извлекают выгоду из массивной государственной поддержки и огромного массива данных, а его программа создания автономного оружия является жемчужиной в короне искусственного интеллекта Пекина. Огромные инвестиции Китая в смертоносное автономное оружие предшествуют другим вооруженным силам, а его военные теоретики опережают остальной мир в построении футуристических «интеллектуальных» моделей человеко-машинных операций.
Еще одним аспектом стратегии Китая в области искусственного интеллекта является экономическое, поскольку Пекин, по-видимому, заинтересован в получении прибыли от своей программы создания автономного оружия в качестве нового экспортного продукта. Китай, похоже, уже экспортирует многие из своих самых высокотехнологичных беспилотных летательных аппаратов богатым покупателям на Ближнем Востоке, явно рекламируя их как способные к продвинутым автономным операциям, таким как убийства. В прошлом году Цзэн И, старший исполнительный директор Норинко, третьей по величине оборонной компании Китая, предсказал, что уже в 2025 году люди не будут сражаться на полях сражений.
Как гонку вооружений, автономное оружие и ИИ в более широком смысле гораздо труднее отслеживать, чем что-то вроде ядерного оружия с исчисляемыми объектами (например, запасы боеголовок и пусковых установок). Как мы должны сравнивать китайскую разработку автономных беспилотных летательных аппаратов и гиперзвуковых «умных ракет» с американским недавним открытием огромных беспилотных кораблей стоимостью 2,7 миллиарда долларов? А как насчет российских автономных танков, впервые задействованных в боевых действиях в Сирии? Короткий ответ заключается в том, что, за исключением более широкого развертывания автономного оружия, мы не можем знать наверняка.
Эльза Б. Каниа, старший научный сотрудник программы Технологии и национальная безопасность в Центре новой американской безопасности, согласна с тем, что вопрос о том, кто возглавляет гонку вооружений ИИ между великими державами, непрост:
Однозначного ответа может и не быть. Например, потенциально американские военные могут стать более способными использовать ИИ в кибероперациях, но китайские военные могут добиться большего прогресса в системах гиперзвукового оружия, которые могут работать автономно, а российские военные могут обладать большим опытом интеграции беспилотных систем в городских условиях. военное дело.
Учитывая, что самое передовое автономное оружие разрабатывается за закрытыми дверями в самых секретных военных лабораториях мира, трудно оценить объективный прогресс военного ИИ, не говоря уже о том, какая страна ближе всего к развертыванию сложного ИИ во всех аспектах своей армии. Однако на данном этапе, с публичными заявлениями как американских, так и китайских официальных лиц, не может быть никаких сомнений в том, что это финишная черта: автоматизация всей армии.
«Неприемлемое» — это новое приемлемое
Несмотря на все воодушевляющие слова Гутерриша о том, что смертоносное автономное оружие представляет собой неприемлемую глобальную угрозу, Организация Объединенных Наций реагировала мучительно медленно. Нет никаких ограничений для национальных государств или компаний, создающих, разрабатывающих и интегрирующих смертоносное автономное оружие; и нет никаких признаков того, что это изменится в 2020 году.
Для ясности: общественное давление в пользу регулирования автономного оружия (или роботов-убийц) нарастает. Согласно опросу, проведенному в ноябре Хьюман Райтс Вотч, почти трое из каждых четырех европейцев хотели бы международного договора, запрещающего летальное автономное оружие. «28 стран выступают за то, чтобы ООН приняла аналогичную меру.
Тем не менее, небольшое число могущественных стран эффективно тормозят (если не пускают под откос) прогресс на международном уровне. Неудивительно, что эти страны — Россия, Китай и США — обладают самым передовым военным ИИ. TIME подробно описало, как Россия ускорила процесс, задерживая документы для обсуждения и откладывая встречи. Китай и Соединенные Штаты были более изощренными, но не менее обструкционистскими в своих собственных попытках отсрочить даже обсуждение существенного запрета.
Несмотря на это, глава ООН по разоружению Идзуми Накамицу с оптимизмом смотрит на то, что в течение двух лет форум Конвенции ООН о конкретных видах обычного оружия (КОО) может выпустить окончательное предложение о том, как смертоносные автономные системы оружия могут быть регулируется на международном уровне. Ранее режим КНО успешно ограничивал или регулировал такие виды оружия, как противопехотные мины или лазерное оружие, обладающие потенциально неизбирательным действием.
С потенциалом смертоносного автономного оружия потенциально выйти из своих запрограммированных ограничений либо случайно (из-за ошибки в программном обеспечении), либо преднамеренно (программное обеспечение взломано), легко увидеть, как их эффекты могут быть неизбирательными, подпадающими под критерии для Ограничения КВО. Но гипотетическая посадка — это только квалификационный балл в длинном марафоне к регламенту. Влиятельная Кампания за остановку роботов-убийц особенно настороженно относится к процессу ООН, предупреждая, что достигнутые на сегодняшний день дополнительные успехи не впечатляют.
Отсутствие регулирования или применимого международного права приводит к мрачному выводу, что гонка вооружений с использованием ИИ может закончиться только тогда, когда глобальная держава разработает и развернет «общий» ИИ в своих вооруженных силах, о последствиях которого мы можем только догадываться на данном этапе.
Если это действительно «неприемлемый» результат, необходимо будет добиться головокружительного прогресса в разработке соглашения о запрете или ограничении смертоносного автономного оружия. Тем временем военные машины становятся все умнее и все привлекательнее в постковидном мире.
Если вас интересует влияние летального или общего ИИ, вам понравится моя новая публикация Технократия. Я буду регулярно писать о том, как технологии меняют общество, например, моя последняя статья о том, как коронавирус делает массовую слежку нашей новой нормой.
