Углеродные выбросы команды по инжинирингу машинного обучения
Экологическое влияние команды по инжинирингу машинного обучения углеродные выбросы и их последствия
Скрытые расходы развития, которые действительно имеют значение
Каждый осознает климатический кризис, вызванный глобальным потеплением в результате деятельности человека. Чтобы предотвратить его катастрофические последствия [1], мир должен резко снизить выбросы парниковых газов, с многими странами, ориентированными на достижение нулевых выбросов к 2050 году.
Бум технологий искусственного интеллекта в последние годы также вызвал опасения относительно его экологической стоимости. Если мы только посмотрим на его прямой вклад, это происходит через использование электричества для обучения и питания моделей. Например, обучение ChatGPT-3 с его 175 миллиардами параметров выделяет огромные 502 тонны эквивалентных углероду выбросов (tCO2e) [2]. Новичок Llama2 выделяет аналогичные 539 tCO2e при обучении его семьи из четырех моделей [3]. Для контекста, каждое из них эквивалентно выбросам пассажира, совершающего в одну сторону полет из Нью-Йорка в Сан-Франциско 500 раз.
Я работаю в команде машинного обучения и эта задача также постоянно не дает мне покоя. Сколько мы вносим вклад в выбросы углерода через потребление электроэнергии? Есть ли способы сократить это? И вот начинается первая попытка осуществления самого себя в отчетности по углероду.
Методы
Не существует одного и прямого способа измерить наше потребление электроэнергии и, соответственно, нашу углеродную нагрузку. Это связано с разнообразием платформ и услуг, которые мы используем. Я не буду углубляться в технические реализации, но в общих чертах это включает три метода.
- Изучение влияния бума искусственного интеллекта на облачные сервисы
- Файн-тюнинг ЛЛМ эффективный параметрический файн-тюнинг (ПФТ) – LoRA и QLoRA – Часть 1
- Обнимая Юлию Пригласительное письмо
- Предоставленные: Точные цифры выбросов углерода уже рассчитаны для нас. Это было предоставлено нашим поставщиком облачных услуг (CSP).
- Инструменты: Мы использовали несколько программных инструментов, таких как Powermetics, Nvidia-SMI и Turbostat, для измерения мощности в ваттах, которые отслеживают процессор и визуальные вычисления для ноутбуков и локального сервера.
- Самостоятельный расчет: Когда это не возможно, мы используем прокси-методы для расчета. Это включает запись продолжительности вычисления, оценку процентного использования используемой чипом(ами), а также определение тепловой мощности (TDP) каждого типа чипа для расчета потребляемой энергии. Для остальных платформ используется этот способ.
