«…компьютеры, хотя они и кажутся всегда новыми, на самом деле обладают механическим способом ограничивать то, что мы видим и знаем, замыкая нас в настоящем, все время создавая иллюзию того, что мы все видим.

… Мы создаем программы, используя идеи, которые мы можем в них вложить, идеи, циркулирующие во время программирования, но затем мы проживаем программу, чтобы забыть о произвольности момента. Мы принимаем идеи, заложенные в программе, как факты природы».

— Введение в Ближе к машине, Эллен Ульман

Наша жизнь теперь управляется данными. Фактически, за последние два года было собрано больше данных, чем когда-либо прежде. Данные собирались либо у вас (возможно, вы нажали Я согласен на веб-сайте), либо в отношении вас (формы скрытой или массовой слежки) так долго, что они предшествуют любому первому впечатлению, которое вы могли попытаться произвести на мир.

В этой ажиотажной информации коренится и другой тренд: технологии искусственного интеллекта (ИИ). С самого начала революции глубокого обучения десять лет назад ИИ обещал собирать большие объемы данных и быстро анализировать их, чтобы понять, кто мы такие и что нас волнует. И действительно, системы, основанные на алгоритмах искусственного интеллекта, повсюду. Они определяют наш кредитный рейтинг, то, как и с кем мы встречаемся, поиски работы, методы найма, а также передачу и продажу как цифровых, так и физических товаров. Возникает петля обратной связи: данные собираются в массовом порядке, а затем обрабатываются с помощью ИИ, чьи идеи определяют принятие решений, что, в свою очередь, оправдывает более интенсивный сбор данных.

Эта петля обратной связи создает проблемы для ответственного ИИ, преобладающей парадигмы создания этических систем ИИ. До сих пор большинство исследований и отраслевых работ по этике ИИ были сосредоточены на том, чтобы сделать алгоритмы более справедливыми или сделать их классификации более точными. Основное внимание уделялось улучшению статических, одноразовых решений, чтобы ИИ мог извлечь максимальную пользу из предоставленных ему данных. Однако это только устраняет симптомы более глубокой проблемы. Искусственный интеллект и машинное обучение — это не только новый способ анализа огромных объемов данных, но и реорганизация нашего понимания окружающего мира. Скроллинг дум в социальных сетях, скоростное скольжение на свиданиях. приложения, панические покупки через цифровую розничную торговлю — это новые социальные действия, вызванные безудержными петлями обратной связи между людьми и автоматизированными системами. ИИ не меняет того, что уже существует. Он не изменяет данные. Однако ИИ интерпретирует данные особым образом, что напрямую влияет на то, как мы выбираем представление о реальности. ИИ меняет то, как мы понимаем себя и других, и, в конечном счете, меняет то, как устроен мир.

Как бы мы ни полагались на инструменты машинного обучения как на источники информации, обещание ИИ как беспрецедентного процессора данных не следует путать с ИИ как источником морального авторитета или политической легитимности. Чрезмерная зависимость от автоматических циклов обратной связи опасна. Наши линии связи становятся более ломкими, а процесс принятия решений более реактивным, чем прогрессивным. Это позволяет экспоненциальному распространению пропаганды и информационной войны, создавая ложное представление о реальности, и приводит к ложному чувству безопасности, которое подвергает нас (даже больше, чем обычно) событиям, которые нельзя предсказать только на основе данных.

Как машины понимают мир?

Обычно мы не задумываемся о технологиях, которые используем. Я могу открыть свой ноутбук, чтобы поработать, поиграть в онлайн-игру или сделать видеозвонок с семьей. Пассажиры ездят на метро, ​​чтобы добраться до работы, пойти на концерт, встретиться с друзьями или просто выбраться из квартиры. Для многих Twitter — это способ следить за новостями, узнавать, чем занимаются знаменитости, или, в более общем плане, узнавать, что в тренде. Чем именно последний случай отличается от первых двух?

Персональные компьютеры и общественный транспорт похожи в том, что они служат интерфейсом между различными частями нашей жизни. Что заставляет эти технологии работать (будь то центральный процессор или автоматическая блокировка сигналов), так это их способность надежно предоставлять услуги, которые мы ожидаем от них, без задержек или сбоев.

Социальные сети так не работают. Когда вы входите в Твиттер, вы получаете доступ к алгоритму, который извлек уроки из потока данных, созданного из видов контента, с которым другие пользователи, такие как вы, взаимодействовали в прошлом. Когда вы затем начинаете нажимать на ссылки или публиковать комментарии, вы добавляете новые входные данные в этот поток. Они могут быть переданы обратно в алгоритм и изменить виды контента, который вы увидите при следующем входе в систему, а также каналы других пользователей, если Twitter сочтет их такими же, как вы. Другими словами, даже если вы этого не замечаете, Twitter постепенно меняется почти каждый раз, когда вы его используете. Масса информации о том, что понравилось вам и другим пользователям, направляется в конвейер типов вещей, с которыми вы, вероятно, будете взаимодействовать.

Ваш ноутбук не меняется каждый раз, когда вы его открываете, в зависимости от того, что другие люди делают на своих ноутбуках. Линии нью-йоркского метро также не меняются в зависимости от того, какими маршрутами вы чаще всего пользуетесь (как бы здорово это ни было!). Эти системы в целом статичны — они качественно не меняются от использования к использованию. Безусловно, существует долгосрочный, неформальный смысл, в котором эти системы обновляются корпорациями и городами. Apple отслеживает продажи продуктов и принимает решения о том, когда и как обновить iPhone или Macbook Pro; Транспортное управление Нью-Йорка принимает решения о том, когда следует заменить устаревшие автомобили на поезда с новыми технологиями. Но то, как они обновляются, намного медленнее и более взвешенно, чем обновления новостных лент на платформах социальных сетей. Они также отражают большое внимание к опыту конечного пользователя — каково это — использовать продукт и формировать отношения с ним с течением времени, а не просто точно предсказывать, что пользователь может делать в любой момент.

Машинное обучение новостных лент основано на автоматизированных циклах обратной связи. Эти циклы зависят от трех вещей: данных, модели и того, что инженеры называют проблемой оптимизации (то есть того, как система выполняет заданную задачу). данные преобразуют сложность мира в нули и единицы, чтобы их могла обрабатывать электрическая система. Затем данные организуются в соответствии с их свойствами — забавными или грустными, мужчинами или женщинами, новостями или развлечениями — так, чтобы их можно было агрегировать и изучать с помощью алгоритма. Модель — это результат того, чему научился алгоритм — его представление о вас, пользователе, на основе того, с какими типами меток данных вы взаимодействовали в прошлом. Проблема оптимизации определяет, какая модель изучается и какова цель дизайнера при маркировке данных или обучении алгоритма. Возможно, дизайнер просто хочет показать вам контент, на который вы, скорее всего, отреагируете, или, может быть, он тестирует эффективно потраченное время версии Facebook, которая пытается отслеживать ваше психическое здоровье или эмоциональное состояние.

Как это влияет на наше понимание мира?

В автоматической обратной связи нет ничего плохого. Но если это выходит из-под контроля, то ИИ может не только обеспечить больше удобства за счет анализа данных, но и пересмотреть ваше понимание того, что можно сделать, и тем самым изменить вашу деятельность.

Например, давайте сравним обычную поисковую систему с социальными сетями. В первом вы вводите определенные слова, относящиеся к искомому контенту. Затем внутренний алгоритм сопоставляет последовательность слов с веб-сайтами, которые чаще всего содержат эти слова. Это работает очень хорошо, потому что доступно так много данных. Но Facebook создал нечто еще более сильное: настоящую сеть людей, через которую проходит ваша социальная жизнь. Теоретически это означает, что Facebook имеет доступ к важнейшим свойствам, посредством которых закодирована ваша социальная жизнь: эмоциям, состояниям, темам и категориям, через которые вы воспринимаете мир. Точно так же Amazon создала беспрецедентную цепочку поставок покупателей и продавцов, через которую можно купить или продать практически любой товар.

Amazon и Facebook не могут буквально предсказать, каких друзей вы хотите добавить или какие продукты вы хотите купить. Но с помощью различных методов эти сайты так же хорошо адаптируют модели вашего поведения к рекламным объявлениям, как и поисковые запросы клиентов к онлайн-контенту. Они не используют данные, чтобы повысить ценность вашей жизни — они извлекают ценность, реорганизовывая вашу жизнь вокруг сбора данных.

В результате появляются системы машинного обучения, которые вызывают поведение пользователей-людей, но не понимают их контекста, создавая безудержные циклы обратной связи, которые могут возникать за наш счет. Автоматические инструменты Facebook удалили страницы католических групп, потому что ошибочно классифицировали их молитвенные посты как спам; в Твиттере чат-бот Microsoft Tay научился публиковать расистские и сексистские высказывания, копируя сообщения других пользователей; подростки на TikTok массово манипулировали алгоритмом Для вас, симулируя намерение посетить митинг Дональда Трампа в Талсе. Эти системы не просто неточны — они переписывают правила социального взаимодействия вокруг себя.

Отличие от общей поисковой системы заключается в том, что такие компании, как Amazon и Facebook, создают цифровые платформы, которые используют ИИ для сопоставления производителей и потребителей. Это верно независимо от того, являются ли «производители» звездами социальных сетей или физическими продавцами, и независимо от того, пользуется ли «потребитель» просто бесплатной услугой. Дело в том, что платформа представляет собой социальную экосистему, которая приносит доход оператору, но может подвергать части своей пользовательской базы различным видам предотвратимого вреда. Поток данных, который делает возможным это богатство — в частности, его свойства, которые были помечены для обеспечения алгоритмического сопоставления между производителями и потребителями, — сам по себе является источником многих из этих вредностей. Поскольку пользователи становятся зависимыми от видения социального мира, создаваемого платформой, они становятся уязвимыми перед самой платформой.

Почему это имеет значение?

Может быть неочевидно, почему эти вопросы критически важны для безопасности пользователей, не говоря уже об обществе. В конце концов, разве мы не имеем права выходить из системы или пользоваться альтернативными услугами? Даже если информационная экосистема любой данной платформы является ограничивающей, действительно ли она влияет на то, как мы живем?

Есть несколько причин, по которым системы, на которых работают Twitter или Amazon, представляют критические риски даже за рамками их собственной работы. Три из них описаны ниже:

  1. Системы ограничены.

Любая система ИИ, какой бы сложной она ни была, фундаментально ограничена тем, что философы называют проблемой индукции. Это причудливый термин для обозначения неспособности делать обобщения, выходящие за рамки примеров явлений, которые оказались коррелированными в прошлом. Если ребенок спрашивает, почему завтра взойдет солнце, а ему говорят: Потому что оно всегда взошло раньше, — это неудовлетворительный ответ. Точно так же ИИ зависит от исторических данных, чтобы учиться и определять свои прогнозы того, что может произойти в будущем. По определению, все, что находится за пределами этой узкой петли обратной связи, не только трудно понять, но и невозможно спрогнозировать. Система фактически слепа к своей возможности. Вот что произошло, когда беспилотный Uber в Темпе, штат Аризона, столкнулся и убил пешехода, шедшего на велосипеде через дорогу — классификатор изображений даже не предсказал там объект и в каком-то смысле ничего не увидел. перед автомобилем.

Из этого следует, что использование таких систем сильно ограничивает нас известными известными явлениями, а все радикально неожиданное — так называемые события «черного лебедя» — полностью замыкает петлю обратной связи ИИ. Если у нас их много взаимозависимых систем, которые построены таким образом, они могут быть подвержены каскадным волновым эффектам при появлении принципиально нового явления, которое может привести к катастрофическим сценариям отказа. Системы ИИ не могут отображать всю реальность внутри данные, и поэтому они будут постоянно предлагать реальность, которая делает нас особенно восприимчивыми к событиям черного лебедя.

2. Системы недальновидны.

Несмотря на впечатляющие возможности, машинное обучение потребляет лишь очень небольшой объем неструктурированных данных в мире. В большинстве случаев машинное обучение известно как обучение с учителем. Это означает, что требуется огромное активное участие человека, чтобы идентифицировать структуру данных, маркировать ее в соответствии с важными свойствами, а затем отслеживать, как она работает. полученный от для того, чтобы поведение классификатора было соответствующим, а не вредным или полностью произвольным. Для того чтобы петля обратной связи технически работала, она на самом деле должна быть крайне недальновидной в своей способности что-либо предсказывать.

Проблема в том, что подавляющее большинство человеческого опыта не настолько хорошо структурировано, чтобы его можно было легко приспособить к этой петле обратной связи, а это означает, что он фактически выходит за рамки. Приложение для знакомств может довольно хорошо предсказывать, какие потенциальные партнеры вам кажутся привлекательными в романтическом плане, но оно не способно предсказать, что заставит отношения работать с течением времени, или даже то, что сделает хорошую связь на одну ночь. . Он не понимает, почему мы свайпаем; все, что он может сделать, — это предсказать, какие профили вы, вероятно, пролистнете прямо. Все, что выходит за рамки этого определения проблемы, с точки зрения системы, не существует — что является серьезной проблемой, поскольку мы привыкли полагаться на приложения, чтобы сформировать наше представление о пуле знакомств и о том, как действовать в нем.

3. Системы хрупкие.

Все то, что делает системы ИИ способными учиться у нас — их наблюдения, их способность масштабироваться — также делает возможным манипулирование ими или «игру». Если вы проводите часы на своем смартфоне, просматривая Instagram или Twitter, вы предоставляете системе кучу данных, на которых она учится, в основном, не понимая, какой контент вы косвенно поддерживаете в этом процессе. TikTok даже отслеживает, как долго вы «задерживаетесь на определенном фрагменте рекомендуемого контента» — вам не нужно нажимать или каким-либо образом взаимодействовать с его алгоритмом, чтобы узнать больше о ваших предпочтениях просмотра.

Эта чувствительность к различным типам человеческого ввода не делает эти системы умнее, а просто делает их уязвимыми для различных типов информационных войн. Граница между гипермедиа-стратегией и прямой цифровой пропагандой стало только размытее. Россия в своей войне против Украины закрыла доступ к альтернативным медиа-платформам и использовала цифровые каналы, чтобы удвоить свой предпочтительный нарратив для вторжения — Китай также выделяет контент, который благоприятствует эмоциям, ситуациям и личностям, которые фигурировать в своем собственном геополитическом положении.

Машинное обучение, как оказалось, далеко не объективно. Наоборот, он разрушает любые интерпретации мира, которые не могут быть оптимизированы с помощью его систем.

Основные выводы

♦ Сила машинного обучения заключается не только в имеющихся в его распоряжении данных, но и в моделях реальности, которые оно изучает, и критериях, по которым эти модели изучаются и обновляются с течением времени.

♦ Взаимодействие между размеченными (и неразмеченными) данными, изученной моделью и поведением системы представляет собой петлю обратной связи, которая определяет, является ли система ИИ хорошей, вредной или уязвимой для внешних сил.

♦ Поскольку нашей жизнью все больше управляют цифровые платформы, эти петли обратной связи сильно влияют на то, как мы понимаем себя.

♦ Тенденция систем быть ограничивающими, близорукими и хрупкими со временем делает нас все более и более уязвимыми для системных повреждений.

Эти риски преодолимы, если мы научимся лучше организовывать то, как циклы обратной связи управляют нашей жизнью. Это не просто хорошая практика проектирования — это вполне может стать следующим шагом на пути к тому, чтобы сделать системы ИИ более этичными и соответствовать тому, как мы хотим жить.

Написано Томасом Крендлом Гилбертом и Меган Брожек.