Сбалансировать инновации и устойчивость разбор воздействия на окружающую среду генеративного искусственного интеллекта.

Балансировка инноваций и стойкости воздействие генеративного искусственного интеллекта на окружающую среду

Ближайший взгляд на углеродный след языковых моделей и устойчивые решения.

Французская ассоциация Data for Good опубликовала белую книгу, исследующую общественные и экологические проблемы, связанные с генеративным искусственным интеллектом. Меня особенно интересовало экологическое воздействие языковых моделей, которое менее освещено, чем этические аспекты. Вот мои основные выводы:

Кратко

• Контекст: мировые лидеры обязались сократить выбросы к 2050 году до значительно менее 2°C. Это означает сокращение выбросов на 43% между 2020 и 2030 годами (чтобы ограничить потепление до 1,5°C, см. раздел C.1.1 в докладе IPCC). Однако в цифровом пространстве выбросы не сокращаются, а увеличиваются с 2 до 7% ежегодно.
• Обучение GPT-3 привело к выбросу 2200 тонн эквивалента CO2 — это примерно равно 1600 перелетам из Парижа в Нью-Йорк и обратно.
• Ежемесячное использование ChatGPT среди 13 миллионов пользователей эквивалентно 10 000 тонн CO2. Если бы каждый сегодня его использовал, это составило бы 0,1% от годового углеродного следа отдельных лиц во Франции/Великобритании и 0,5% от нашей целевой отметки к 2050 году.
• Влияние ChatGPT+, основывающегося на GPT-4, может быть в 10—100 раз больше, увеличивая текущий годовой углеродный след на 10%… или составляя 50% от нашей целевой отметки.
• Есть множество способов сократить влияние использования таких моделей: использовать их разумно и выбирать облачные сервисы с доказанной окружающей среде производительностью.

Контекст

Для оценки экологического воздействия любого объекта можно оценить его углеродный след: он измеряет общие выбросы парниковых газов, вызванные прямо и косвенно отдельным лицом, организацией или продуктом, выраженные в эквивалентных тоннах углекислого газа (CO2e). Для сравнения, средний годовой углеродный след примерно составляет 8–13 тонн на человека в Великобритании или Франции, 21 тонна в США и 6 тонн по всему миру. Я буду считать наш текущий след 10 тонн.

Некоторые примеры (с источниками):

• Перелет из Парижа в Нью-Йорк эквивалентен 1,4 тоннам CO2e. Авиация составляет 10% годового среднего углеродного следа гражданина Великобритании (годовые выбросы от авиации в Великобритании примерно 80 миллионов тонн CO2, что равно 10% годовых выбросов парниковых газов Великобритании, составляющих 770 миллионов тонн).
• Ежедневное просмотр видео в течение 3 часов в течение года стоит: (0,4 кВтч *
  2. * 3 ч * 0,26 кгCO2экв/кВтч * 365 дней = 228 кгCO2экв в год или примерно 2% среднегодового углеродного следа в Великобритании. Исходя из следующих предположений и моего скромного вычисления: энергопотребление для 30 минут онлайн-видео = 0,4 кВтч количество видеотрансляций на человека в день = 3 часа углеродная интенсивность в Великобритании = 0,26 кгCO2экв/кВтч

Чтобы удержать глобальное повышение температуры ниже 2 градусов, мы должны стремиться к снижению глобального углеродного следа до 2 тонн на человека к 2050 году. Есть еще много работы по сокращению наших выбросов на 80 или 90%, и непрерывно растущий спрос на цифровые услуги, превосходящий улучшение эффективности, не помогает. Как сочетается генеративный ИИ с этим уравнением и что мы можем сделать, чтобы согласовать наши цифровые достижения с нашими экологическими целями?

• Как оптимизировать многомерные операции с Numpy массивами с помощью Numexpr
• Введение в инжиниринг аналитики
• Соотношение срочности и устойчивости в качестве аналитической команды

Влияние обучения:

В фазе обучения мы подаем языковые модели некоторые отобранные данные, чтобы они могли изучать и становиться способными отвечать на наши запросы.

В исследовании было проанализировано две большие языковые модели: 1. Открытый Bloom2. Закрытый GPT-3 от OpenAI

Основные результаты:- Углеродный след Bloom: Изначально оценивался в 30 тонн, затем после комплексного анализа был пересмотрен до 120 тонн.- Углеродный след GPT-3: Примерно 2200 тонн, что эквивалентно 1600 обратным рейсам из Парижа в Нью-Йорк.

Общей точкой зрения является то, что высокие затраты на обучение этих моделей приемлемы, поскольку они широко используются большим количеством пользователей.

Влияние вывода

Инференция в машинном обучении – это процесс использования обученной модели для предсказаний на реальных данных. Мы сейчас рассматриваем влияние работы ChatGPT.

Исходя из предположения, что Chatgpt используют 13 миллионов активных пользователей средним количеством запросов 15 раз, ежемесячный углеродный след составляет 10 000 тонн CO2. И главное понимание для меня заключается в том, что это намного больше, чем влияние обучения.

Для одного пользователя добавление к годовому углеродному следу составляет 12 месяцев * 10000 тонн / 13 миллионов пользователей = 9 килограмм CO2eq в год на каждого пользователя, что эквивалентно 0,1% текущего среднегодового углеродного следа или 0,5% нашей целевой цифры.

Но что, если этот человек использует ChatGPT плюс с GPT-4? Углеродный след GPT-4 в 10-100 раз больше, чем у GPT-3. Это значение составляет от 100 килограмм CO2e до 1 тонны дополнительно, что составляет до 10% углеродного следа гражданина Франции – и в два раза больше, если вы делаете все возможное для его сокращения. Если мы учтем нашу целевую цифру углеродного следа к 2050 году, это составляет 50%! Это ужасно.

И что, если когда-нибудь каждое взаимодействие с любым приложением в вашей жизни будет делать запросы к языковым моделям? Пугающая мысль.

Хорошая новость заключается в следующем. Использование gpt4 API в большом объеме настолько дорого, что мы не можем позволить нашим пользователям делать 15 запросов в день, если эти пользователи не готовы заплатить ежемесячную подписку в размере 100 долларов и более, чего не хотят делать целевые пользователи продукта, который я разрабатываю (личный помощник по медитации). И это касается не только малых предприятий, которые не могут себе позволить это: Google и Microsoft также не могут позволить себе заменить свои поисковые системы моделью размера GPT4, что увеличило бы стоимость их запросов в 100 раз.

Рекомендации

Рекомендации следующие:

• Оставайтесь трезвыми: Может быть соблазн заменить весь проект IT на ChatGPT-4, но вместо этого мы можем задать себе вопрос о полезности проекта, реальной необходимости использовать языковую модель и ограничить ее использование только в тех случаях, когда это действительно необходимо. То есть, используйте гораздо меньшую модель, чем GPT-4, когда только можете. Подумайте дважды перед использованием (ее в) ChatGPT+.
• Оптимизируйте тренировку и использование: В этом вопросе есть многочисленные техники, постоянно развивающиеся, и специалисты по обработке данных должны уже использовать их… для сокращения расходов. Они в основном заключаются в сокращении использования инфраструктуры, что в свою очередь уменьшает потребление электроэнергии и, следовательно, выбросы углерода. В сущности, мы тренируем модель только в случае крайней необходимости; если мы тренируем, мы планируем это, чтобы не тратить ресурсы напрасно. И мы используем самую маленькую модель, которая удовлетворяет требованиям.
• Выберите лучшую страну для размещения вашего сервера на основе его углеродного следа. И вот гордость Франции: углеродный след нашей в основном ядерной энергии в 7 раз меньше, чем в США. Однако, предположим, что все вы начнете размещать свои языковые модели здесь: в таком случае мы, вероятно, импортируем энергию из угля от наших дорогих соседей 🔥.
• Выберите лучший облачный сервис на основе его экологических показателей (эти данные иногда публичные; есть также инструменты для измерения/оценки, например, https://mlco2.github.io/impact/) — предпочитайте облачные сервисы, которые используют свои серверы дольше (однако гипермасштабисты обычно сохраняют свое оборудование не больше 4 лет), а также центры обработки данных с высокой степенью совместного использования ресурсов.

Вас интересует снижение вашего влияния?

Будь то в качестве отдельного лица или корпорации, есть ресурсы и эксперты, доступные для направления вас по устойчивому пути.

На индивидуальном уровне:- Если вы хотите оценить свой углеродный след, существует множество онлайн-инструментов. Лично для меня оценка моего углеродного следа стала зорким взглядом, побудившим меня искать способы оказать положительное влияние. Если вы живете в Великобритании, проверьте https://footprint.wwf.org.uk/– Чтобы получить быстрый курс по основной науке о изменении климата продолжительностью 3 часа: https://climatefresk.org/– Чтобы раскрыть действия, которые вы можете предпринять и оценить, насколько они сократят ваш углеродный след, рекомендуется еще одно 3-часовое мероприятие: https://en.2tonnes.org/

На корпоративном уровне:Многие компании изучают эти вопросы, и вот что они могут сделать:

• проинформировать своих сотрудников (с помощью рекомендованных выше мероприятий),
• провести аудиты и измерить свой углеродный след,
• разработать стратегии для улучшения своих результатов в ESG (Environmental, Social, and corporate Governance) -оценках.

Я услышал о этом блестящем исследовании благодаря некоторым великим людям, которых я недавно встретил из Toovalu и Wavestone. Посмотрите, чем они занимаются!

Пожалуйста, оставьте комментарий, если нашли ошибку в моих расчетах или хотите поделиться своими мыслями, а также поделитесь, если вам было интересно.

🙌 Спасибо, что нашли время прочитать эту статью, я надеюсь, она была познавательной! Огромная благодарность Тибо, Лео, Бенуа и Диане за их ценные отзывы и дополнения к этой статье 🙏.

И если вы хотите быть в курсе всех событий в области Generative AI и ответственного ML, подпишитесь на меня в Linkedin 👋.