Определение объема потребления электричества генеративным искусственным интеллектом

Определение объема потребления электричества с помощью генеративного искусственного интеллекта

Соответствие потреблению Испании (было Казахстан) к 2027 году?

Обновлено: 11 декабря 2023 года – Анализ пересмотрен в Дополнении, чтобы отразить удвоение оценок продаж AMD

Для генеративного искусственного интеллекта требуются графические процессоры (GPU) – их много. Вычисления, связанные с машинным обучением, требуют манипулирования большими моделями с миллиардами параметров, и наилучший способ эффективно обрабатывать эту нагрузку – использовать тысячи параллельных процессоров, которые могут предоставить только GPU.

Последний раз такой скачок спроса на вычислительные мощности GPU произошел в криптовалюте – где Биткоин был майнен сначала с использованием GPU, а затем специально разработанных чипов (ASIC), в то время как Ethereum продолжал использовать огромные склады GPU, прежде чем в конечном итоге отказаться от своего процесса майнинга в пользу метода, называемого “Доказательство доли владения” (Proof-of-Stake, PoS).

• Сделайте вместимым любой LLM для любого GPU, используя 10 строк кода
• Лучшие хранилища GitHub для Generative AI для повторного изучения в 2023 году
• Тенденции искусственного интеллекта в области кибербезопасности, на которые нужно обратить внимание в 2024 году

Хотя люди знали, что майнинг Биткоина потребляет значительное количество энергии, до тех пор, пока команда исследователей из Университета Майнут из Ирландии¹ не количественно оценила потребление энергии в понятных терминах, масштаб проблемы стал очевиден. Фактически, на момент проведения исследования, майнинг Биткоина потреблял примерно столько же электроэнергии, сколько Ирландия потребляет за год. С тех пор потребление энергии выросло до уровня Польши.

В криптовалюте было возможно количественно оценить потребление энергии, так как скорость генерации валюты была известна как так называемый уровень “трудности”. В новом всплеске генеративного искусственного интеллекта это сложнее, так как такие меры отсутствуют.

Инфраструктура генеративного искусственного интеллекта растет стремительно

Есть многоходовые доказательства быстрого роста закупки инфраструктуры искусственного интеллекта, включая сообщения о покупке компанией X.AI Илона Маска 10 000 видеокарт Nvidia и о строительстве кластера из 22 000 (Nvidia) H100 компанией Inflection AI .

Есть и академический анализ, например, документ Алекса де Вриеса², где рассматривается возможное потребление энергии с использованием пошагового подхода через объединение новостей и пресс-релизов компаний по данной теме.

Одним из доминирующих поставщиков аппаратуры GPU безусловно является Nvidia, есть также конкуренция от AMD. Оба этих компании публичны, и каждый квартал они должны предоставлять детальные отчеты, рассказывающие своим акционерам и широкой общественности о текущих продажах и делающие прогнозы на будущее.

Менее видными являются действия компаний, главным продуктом которых не являются GPU. Google создает собственный AI-чип, а Microsoft объявил об намерении сделать то же самое. ARM также объявил о передвижениях в этом направлении, и есть целый ряд стартап-компаний, которые намерены конкурировать на этом рынке. Однако мы можем только гадать об объеме их деятельности и исключили их из данного анализа.

Следуя прогнозам по продажам

Nvidia, как доминирующий производитель чипов, пожалуй, лучше всего расположена для прогнозирования будущего спроса, и их прогнозы продаж заслуживают внимания

В презентации первого квартала результатов Nvidia в мае 2023 года, компания сообщила об общих доходах в размере 7,192 млрд долларов США, из которых 4,284 млрд долларов приходится на категорию “Центры данных”. Это отражает очень успешный квартал, который компания в значительной степени связывает с генеративным искусственным интеллектом и недавним выпуском OpenAI ChatGPT. Они удивили рынок акций, предсказывая, что выручка, приходящаяся на категорию “Центры данных” в полном году 2023 года достигнет 15 млрд долларов США.

Эти впечатляющие результаты были усилены во втором квартале, когда продажи в той же категории составили 10,3 млрд долларов, а в третьем квартале они выросли до 14,5 млрд долларов. Результаты AMD за то же время оказались гораздо скромнее, с маловероятным количеством миллиардов долларов продаж за каждый из трех кварталов, однако они ожидают, что это изменится с запуском MI300 в четвертом квартале.

В таблице ниже суммированы эти результаты и с небольшой долей предположения о четвертом квартале становится ясным, что примерно на сумму 50 млрд долларов ожидается продажа видеокарт в полном объеме в 2023 году – первый год после выпуска ChatGPT.

Взглянув в будущее, в презентации отчета о первом квартале Nvidia(слайд 42) было оценено, что общий будущий рынок корпоративных программ искусственного интеллекта составит 150 млрд долларов в год (в 10 раз больше их прогнозов на 2023 год). Эта оценка была подтверждена во втором квартальном звонке от конкурента AMD, который заявил, что они ожидают, что “рынок ускорителей искусственного интеллекта достигнет более чем 150 миллиардов долларов к 2027 году”.

Мы добавили строки в вышеприведенную таблицу, показывающие линейный рост (в долларовом выражении) от 50 млрд долларов в 2023 году до предполагаемых 150 млрд в 2027 году. Если предположить, что аппаратное обеспечение, приобретенное в конце 2023 года, все еще работает в 2027 году, это означает, что к тому времени общий объем установленных видеокарт, работающих с генеративным искусственным интеллектом от этих двух ведущих производителей, составит общую сумму в 500 млрд долларов.

Каково значение для энергопотребления

За 5 лет продаваемые видеокарты будут представлять собой смесь разных поколений оборудования. Nvidia начала 2023 год, отправив H100-карты. В мае 2023 года они начали пробные отгрузки более новых чипов Grace Hopper (GH200), а карты B100 должны появиться где-то в 2024 году. Аналогично, AMD будет поставлять целый ряд процессоров Instinct (MI100, MI200, MI300) в той же временной линии.

Для нашей оценки энергопотребления мы предположим, что все затраты на видеокарты в течение 5-летнего периода происходят на картах схожих характеристик с Nvidia H100. Это упрощенный подход, но вероятно, что хотя мощность обработки на потраченный доллар и на расходуемый кВт-час будет расти, будут потрачены аналогичные деньги и потреблено схожее количество энергии.

H100-карты стоят 33 000 долларов США, хотя скидки или, действительно, нехватка могут повлиять на их цену.

Максимальное потребление энергии H100 составляет 700 Вт. Владельцы небольших кластеров этих устройств могут иметь пики и колебания, так как нагрузка перемещается между тренировкой и выводом. Однако большинство продаж пойдут к гипермасштабным предприятиями и операторам крупных объектов, и исследования показывают, что с хорошей планировкой они часто работают на более чем 80% мощности (а, следовательно, на максимальном потреблении энергии) все время.

Теперь, если мы проведем следующие простые расчеты:

1 миллиард долларов на покупку H100 при стоимости 33 000 долларов США = > 30 300 единиц

30 300 единиц * 0,7 кВт * (365*24) часов => 0,185 Тераватт-часов в год

Можем сделать вывод, что 1 миллиард долларов позволяет купить 30 300 видеокарт, потребляющих 0,185 Тераватт-часов энергии в год.

В следующей таблице объединены данные о потреблении энергии с ранее описанными оценками продаж.

Мы видим, что к концу 2023 года эти видеокарты, проданные Nvidia и AMD, потребляют 9 Тераватт-часов энергии в год, что эквивалентно ежегодному потреблению энергии Кении, используя самые последние (2021) цифры от Агентства по энергетической информации США. К 2027 году эта цифра вырастает в 10 раз и приближается к потреблению Казахстана – страны с населением в 20 миллионов человек.

Сравнение с майнингом биткойна

Для сравнения, сайт Cambridge Bitcoin Index⁴ показывает, что биткойн достиг этого уровня (93 ТВт-ч) потребления в начале января 2021 года. На момент написания статьи (декабрь 2023 года), потребление биткойна выросло до 156 ТВт-ч, что немного меньше, чем в два раза. Так как майнерам биткойна очень выгодно использовать дешевую энергию, они часто прибегают к использованию мест, где производится “захламленная” энергия, и ее приверженцы утверждают, что это очень часто означает, что производство энергии имеет меньший воздействие на окружающую среду. В случае с энергией, потребляемой генеративным искусственным интеллектом, это не так.

Многие утверждают, что использование такого большого количества энергии для майнинга биткойнов бессмысленно и что от этой деятельности есть очень мало пользы для человечества. В то же время некоторые исследования показали, что генеративный искусственный интеллект может увеличить производительность работников до 40%. Если это действительно так, то многие могут считать этот энергопотребление очень ценным.

Выводы

Мы провели довольно упрощенный анализ нынешнего и будущего энергопотребления, связанного с генеративным искусственным интеллектом. Мы обнаружили, что в 2023 году продажи графических процессоров для генеративного искусственного интеллекта, скорее всего, ответственны за использование 9 ТВт электроэнергии — что эквивалентно потреблению Кении. Если лучшие прогнозы продаж от ведущих компаний Nvidia и AMD верны, то к 2027 году это число увеличится до 93 ТВт — что эквивалентно потреблению Казахстана. Это всего лишь 60% от потребления энергии для майнинга биткойна сегодня. Хотя преимущества генеративного искусственного интеллекта, скорее всего, оправдают такое потребление, важно следить за прогрессом такого высокого энергопотребления, чтобы убедиться, что это действительно так.

Приложение — Доработано для Включения Обновленного Прогноза AMD на 6 Декабря 2023 года

В мире искусственного интеллекта ничего не стоит на месте. 6 декабря AMD провели мероприятие под названием Advancing AI⁷, на котором они представили свой продукт MI300. Их генеральный директор, доктор Лиза Су, выступила на сцене и заявила, что их ранние прогнозы о доступном рынке (TAM) для ускорителей искусственного интеллекта были слишком скромными. Они решили, что темп роста в этом сегменте должен составлять более 70% в год и достигнуть объема продаж в размере 400 млрд долларов к 2027 году. Это более чем в два раза превосходит их предыдущие оценки. Мы провели повторный анализ, используя эти новые данные, и результаты представлены ниже.

Кумулятивные продажи GPU и других ускорителей искусственного интеллекта теперь прогнозируются на более чем 1 триллион долларов за пятилетний период.

Переводя это в потребляемую энергию, мы видим, что она достигает прогнозируемого потребления 208 ТВт электроэнергии в год. Это почти соответствует потреблению энергии такой страны, как Испания — страны, входящей в топ-20 экономик мира.

AMD гордится энергоэффективностью, и утверждается, что их новый продукт обладает мощностью, сравнимой с H100 от Nvidia, при удвоенной энергоэффективности. Это, возможно, поможет ситуации, но всё равно довольно вероятно, что на рынке будут использоваться чипы от разных производителей: Nvidia, AMD, Google, Microsoft, Amazon, Intel, и исходная оценка все еще актуальна.

Ссылки

1. O’Dwyer, Karl J., и David Malone. “Bitcoin mining and its energy footprint.” в 25th IET Irish Signals & Systems Conference 2014 and 2014 China-Ireland International Conference on Information and Communications Technologies (ISSC 2014/CIICT 2014), 2014 p. 280–285
2. de Vries, A. (2023). The growing energy footprint of artificial intelligence. Joule, 7(10), 2191–2194.
3. EIA U.S. Energy Information Administration International Energy Dashboard 2017–2021, https://www.eia.gov/international/data/world/electricity/electricity-consumption?pd=2&p=0000002&u=0&f=A&v=mapbubble&a=-&i=none&vo=value&t=C&g=00000000000000000000000000000000000000000000000001&l=249-ruvvvvvfvtvnvv1vrvvvvfvvvvvvfvvvou20evvvvvvvvvvnvvvs0008&s=1609459200000&e=1609459200000&
4. University of Cambridge, Judge Business School, Cambridge Bitcoin Electricity Consumption Index, https://ccaf.io/cbnsi/cbeci
5. Somers, M, How generative AI can boost highly skilled workers’ productivity, MIT Sloan School of Management, https://mitsloan.mit.edu/ideas-made-to-matter/how-generative-ai-can-boost-highly-skilled-workers-productivity
6. Hu, Q., Sun, P., Yan, S., Wen, Y. and Zhang, T., 2021, November. Characterization and prediction of deep learning workloads in large-scale gpu datacenters. In Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (pp. 1–15).
7. Tom’s Hardware, AMD Advancing AI Event Live Blog: Instinct MI300 Launch, Ryzen 8000 “Hawk Point” Expected, December 6th, 2023, https://www.tomshardware.com/live/news/amd-advancing-ai