Уилл Бьюкенен и Джесси Додж
Наука ясна: Всемирная метеорологическая организация сообщила, что глобальная температура имеет 50-процентную вероятность потепления более чем на 1,5°C в течение следующих пяти лет. Ученые установили это как потолок для предотвращения катастрофических изменений климата; когда мы достигнем этого долгосрочного порога, мы можем ожидать беспрецедентных нарушений качества жизни человека и наших поддерживающих экосистем. Мы должны сделать все возможное, чтобы уменьшить наш углеродный след.
ИИ может ускорить прогресс; например, путем интеграции возобновляемых источников энергии в электрическую сеть или снижения стоимости улавливания углерода. В то же время сама технология должна быть устойчивой. У нас нет точной оценки общего углеродного следа ИИ, потому что инфраструктура для отслеживания и отчетности все еще находится в зачаточном состоянии. Пока мы строим это, мы обязуемся прислушиваться к предупреждениям, изложенным в отчете МГЭИК, — сейчас самое время действовать.
Быстрый рост таких технологий, как машинное обучение, предоставил людям во всем мире беспрецедентный доступ к вычислительной мощности: вычислительные потребности этих рабочих нагрузок могут потребовать больших затрат энергии. В результате исследования все больше фокусируются на том, как обеспечить более эффективное использование вычислительных и энергетических ресурсов моделями ИИ. Недавно Microsoft сделала показатели энергопотребления доступными в своей платформе машинного обучения, чтобы помочь пользователям понять скрытые затраты на их рабочую нагрузку. Энергия преобразуется в реальный углеродный след: так называемые эксплуатационные выбросы углерода возникают, когда источник электроэнергии не является безуглеродным, что означает, что он влияет на углеродоемкость сети, питающей центр обработки данных.
Углеродоемкость сети чувствительна к небольшим изменениям в углеродоемком производстве и может варьироваться как в зависимости от местоположения, так и во времени. Каждый регион включает в себя различное сочетание источников энергии, поэтому может сильно различаться. Углеродоемкость варьируется в зависимости от часа, дня и сезона из-за изменений в спросе на электроэнергию, производства с низким содержанием углерода (ветер, солнечная энергия, гидроэнергетика, ядерная энергия, биомасса) и традиционного производства углеводородов. В результате появляется много возможностей перераспределить вычислительные ресурсы, чтобы извлечь выгоду из этих вариаций: это известно как вычисления с учетом выбросов углерода.
Существуют определенные решения, которые пользователи могут принять, чтобы сделать свои рабочие нагрузки более углеродоемкими, например, выбрать географический регион или решить, когда запускать задание по обучению. Знание того, какие действия возможны и какое влияние они оказывают, поможет пользователям принимать обоснованные решения о том, как уменьшить углеродный след своих рабочих нагрузок. Организации мобилизуются: Green Software Foundation — это межотраслевой консорциум, который определяет набор людей, стандартов и инструментов для этого.
«Нельзя управлять тем, что нельзя измерить», — Питер Друкер
Без последовательной основы для детального измерения операционных выбросов углерода пользователи и поставщики облачных услуг не могут принимать эффективные меры. Чтобы решить эту проблему, мы в Microsoft и AI2, с соавторами из Еврейского университета, Университета Карнеги-Меллона и Hugging Face, применили спецификацию для измерения углеродоемкости программного обеспечения (SCI) Green Software Foundation для измерения операционных выбросов углерода в атмосферу. Рабочие нагрузки Azure AI путем умножения энергопотребления облачной рабочей нагрузки на углеродоемкость сети, питающей центр обработки данных, с использованием данных, предоставленных WattTime. В SCI используется так называемый последственный подход к учету выбросов углерода, который направлен на количественную оценку предельного изменения выбросов, вызванного решениями, вмешательствами или действиями.
Чтобы понять относительный SCI широкого спектра моделей ML, мы сравнили 11 различных экспериментов с оценками эквивалентных источников выбросов по данным Агентства по охране окружающей среды США. На этой диаграмме синие столбцы представляют различия по регионам.
Примечание. LM с параметром 6 миллиардов обучается только в течение 13 % полного цикла; при полном пробеге выбросы будут примерно на порядок больше, чем показано. Таким образом, более крупные модели могут иметь примерно такой же углеродный след, как железнодорожный вагон с углем.
Затем мы оценили несколько различных действий, которые пользователь может предпринять, чтобы свести к минимуму свой SCI, используя стратегии, учитывающие выбросы углерода. Среди них мы обнаружили, что выбор соответствующего географического региона играет наибольшую роль; его выбор может снизить SCI почти на 75%. Если другие факторы, такие как задержка и стоимость, равны, мы рекомендуем пользователям обращаться к этой диаграмме при выборе места для своих вычислительных ресурсов.
Кроме того, важную роль играет время суток: в зависимости от продолжительности рабочей нагрузки существует значительный потенциал сокращения за счет суточных колебаний интенсивности выбросов углерода. Для более коротких тренировочных циклов мы обнаруживаем снижение более чем на 30 % в нескольких регионах и до 80 % в регионах с высокой периодичностью использования возобновляемых источников энергии. Для значительно более длительных рабочих нагрузок снижение составляет менее 1,5%. Планирование с учетом выбросов углекислого газа может выйти за рамки обучения и включать в себя другие отложенные рабочие нагрузки машинного обучения, такие как пакетный вывод или обработка данных.
Чтобы еще больше уменьшить операционный след, рабочие нагрузки можно динамически приостанавливать, когда интенсивность выбросов углерода высока, и возобновлять, когда выбросы низки. Это извлекает выгоду из ежедневных колебаний интенсивности выбросов углерода и оптимизирует выбросы углерода в пределах заданного окна. В рамках удвоения исходной продолжительности мы обнаружили, что более короткие рабочие нагрузки имели наименьший потенциал сокращения (менее 10%), в то время как большие рабочие нагрузки фактически демонстрируют наибольшее снижение (около 25%).
Важно отметить, что эти сокращения и оперативные расчеты углерода предназначены для одного тренировочного прогона: любая мера общего углеродного следа ИИ должна учитывать полный жизненный цикл модели машинного обучения, начиная с начальных этапов исследовательского обучения и заканчивая настройка и развертывание гиперпараметров, а также мониторинг окончательной модели. Необходимы дальнейшие исследования, чтобы информировать об анализе жизненного цикла операций (OLCA) для модели машинного обучения.
К счастью, крупные поставщики облачных услуг (в том числе Microsoft) уже обеспечивают свои центры обработки данных облачных вычислений энергией, на 100 % нейтральной по отношению к выбросам углерода, с помощью рыночных мер, таких как кредиты на возобновляемые источники энергии (REC) и соглашения о покупке электроэнергии (PPA). Однако покупка чистой энергии — это не то же самое, что использование чистой энергии; как разработчики и пользователи, мы должны осознавать, когда и где мы запускаем наши облачные рабочие нагрузки, чтобы свести к минимуму наше воздействие на окружающую среду. Многие группы в Microsoft принимают меры; например, обновления Windows теперь запланированы на периоды с наименьшей предельной интенсивностью выбросов углерода.
По мере того, как организации и разработчики мобилизуются, возникает потребность в централизованных и совместимых инструментах, чтобы обеспечить это в масштабе. Carbon-Aware Core SDK от Green Software Foundation — это зарождающийся проект с открытым исходным кодом для создания общего ядра, которое является гибким, независимым и открытым: это позволяет программному обеспечению и системам создавать собственные возможности, учитывающие выбросы углерода.
Как мы отмечали в нашей статье Измерение углеродоемкости ИИ в облачных экземплярах, поставщики облачных услуг, предоставляющие информацию об углеродоемкости программного обеспечения в действенной форме, позволят разработчикам и пользователям уменьшить углеродный след своих рабочих нагрузок ИИ. Для этого требуются совместимые измерительные инструменты; только после того, как это будет сделано, можно будет разработать эффективные стратегии управления выбросами углерода. Чтобы начать работу, узнайте больше о Green Software Foundation и начните участвовать в проектах с открытым исходным кодом через GitHub Green Software Foundation, чтобы внедрить в свои приложения возможности с учетом выбросов углерода. Этот потенциал выходит за рамки рабочих нагрузок машинного обучения, и мы с нетерпением ждем возможности поделиться дополнительными разработками в ближайшие месяцы.
Подпишитесь на @allen_ai в Твиттере и подпишитесь на Информационный бюллетень AI2, чтобы быть в курсе новостей и исследований AI2.
