Новый класс ускоренных и эффективных систем искусственного интеллекта знаменует следующую эру сверхмощных вычислительных систем

Новое поколение ускоренных и эффективных систем искусственного интеллекта следующая эра сверхмощных вычислительных систем

Сегодня NVIDIA представила на SC23 следующую волну технологий, которые поднимут на новый уровень производительность и энергоэффективность научных и индустриальных исследовательских центров по всему миру.

«Инновации в оборудовании и программном обеспечении от NVIDIA создают новый класс суперкомпьютеров искусственного интеллекта», – сказал Иан Бак, вице-президент отдела высокопроизводительных вычислений и гипермасштабных исследовательских центров компании NVIDIA, в своем специальном обращении на конференции.

Некоторые из систем будут оснащены усиленными памятью акселераторами NVIDIA Hopper, другие – новой архитектурой систем NVIDIA Grace Hopper. Все они будут использовать расширенную параллельность для запуска полного набора ускоренного программного обеспечения для генеративного ИИ, вычислений HPC и гибридных вычислений квантовой физики.

Бак описал новую платформу вычислений NVIDIA HGX H200 как «ведущую в мире платформу компьютерного интеллекта».

Изображение H200 системы GPU
GPU NVIDIA H200 Tensor Core оснащены памятью HBM3e для работы с растущими моделями генеративного ИИ.

Он оснащен до 141 ГБ памяти HBM3e, и является первым акселератором ИИ, использующим ультрабыструю технологию. Запуская модели, такие как GPT-3, графические процессоры NVIDIA H200 Tensor Core обеспечивают повышение производительности в 18 раз по сравнению с предыдущими поколениями акселераторов.

Среди других тестов для генеративного ИИ, они обрабатывают 12 000 токенов в секунду на большой языковой модели Llama2-13B (LLM).

Бак также представил серверную платформу, которая объединяет четыре суперкомпьютерных чипа NVIDIA GH200 Grace Hopper с помощью межсоединения NVIDIA NVLink. В этой конфигурации в одном вычислительном узле находятся ошеломляющие 288 ядер Arm Neoverse и 16 петафлопсов производительности ИИ с возможностью работы со сверхбыстрой памятью объемом до 2,3 терабайта.

Изображение четырех GH200 серверных узлов
Серверные узлы на базе четырех суперкомпьютерных чипов GH200 обеспечат 16 петафлопсов производительности ИИ.

Демонстрируя свою эффективность, один суперкомпьютерный чип GH200 с использованием библиотеки с открытым исходным кодом NVIDIA TensorRT-LLM в 100 раз быстрее двухсокетной системы на процессоре x86 и практически в 2 раза энергоэффективнее, чем сервер на платформе X86 + GPU H100.

«Ускоренные вычисления – это устойчивые вычисления», – сказал Бак. «Используя мощь ускоренных вычислений и генеративного ИИ, мы вместе можем стимулировать инновации во всех отраслях, снижая при этом воздействие на окружающую среду».

NVIDIA управляет 38 из 49 новых систем TOP500

Последний список TOP500 самых быстрых суперкомпьютеров в мире отражает переход к ускоренным энергосберегающим суперкомпьютерам.

Благодаря новым системам, работающим на базе графических процессоров NVIDIA H100 Tensor Core, NVIDIA теперь обеспечивает более 2,5 экзафлопса HPC-производительности на этих лидирующих системах по всему миру, в сравнении с 1,6 экзафлопсами в майских рейтингах. Вклад NVIDIA в топ-10 достигает почти одного экзафлопса HPC-производительности и 72 экзафлопса производительности ИИ.

Новый список содержит рекордное количество систем, использующих технологии NVIDIA: 379 против 372 в мае, включая 38 из 49 новых суперкомпьютеров в списке.

Microsoft Azure лидирует среди новичков с системой Eagle, использующей графические процессоры H100 в экземплярах NDv5, занимающей 3-е место с 561 петафлопсами. Mare Nostrum5 в Барселоне занял 8-е место, а NVIDIA Eos — которая недавно установила новые рекорды обучения искусственного интеллекта по бенчмаркам MLPerf — заняла 9-е место.

Показывая свою энергоэффективность, графические процессоры NVIDIA питают 23 из топ-30 систем в Green500. Они также удерживают первое место с системой Henri, основанной на графическом процессоре H100, которая предоставляет 65,09 гигафлопсов ватт для Института Флэтайрон в Нью-Йорке.

Gen AI исследует COVID

Демонстрируя то, что возможно, Национальная лаборатория Аргон использовала NVIDIA BioNeMo, генеративную платформу искусственного интеллекта для биомолекулярных LLM, чтобы разработать GenSLMs, модель, способную генерировать геномные последовательности, близкие к реальным вариантам коронавируса. Используя графические процессоры NVIDIA и данные из 1,5 миллиона геномных последовательностей COVID, она также может быстро обнаруживать новые варианты вируса.

Работа выиграла специальный приз Gordon Bell в прошлом году и была обучена на суперкомпьютерах, включая Polaris Аргонской Полярис, Перлмуттер американского министерства энергетики Перлмуттер и Селена компании NVIDIA Селена.

Это только “верхушка айсберга — будущее переполнено возможностями, поскольку генеративный ИИ продолжает переопределять ландшафт научных исследований”, — сказала вице-президент отдела здравоохранения NVIDIA Кимберли Пауэлл в специальном обращении.

Экономия времени, денег и энергии

Используя современные технологии, ускоренные рабочие нагрузки могут видеть сокращение затрат на систему и использование энергии на порядок, — сказал Бак.

Например, Siemens сотрудничает с Mercedes для анализа аэродинамики и связанных с нею акустических характеристик своих новых электрических автомобилей EQE. Симуляции, занимающие недели на кластерах процессоров, выполняются значительно быстрее с использованием новейших графических процессоров NVIDIA H100. Кроме того, графические процессоры Hopper позволяют снизить затраты в 3 раза и энергопотребление в 4 раза (ниже).

Диаграмма, показывающая производительность и энергоэффективность графических процессоров H100

Включение 200 экзафлопс, начиная с следующего года

Научно-технические и промышленные достижения будут идти со всех уголков планеты, где внедряются новейшие системы быть развернутыми.

“Мы уже видим комбинированное 200 экзафлопсов ИИ на суперкомпьютерах Grace Hopper, который будет запущен в производство в 2024 году”, — сказал Бак.

Среди них — мощный суперкомпьютер JUPITER в Исследовательском центре Юлиха в Германии. Он может обеспечить производительность в 93 экзафлопса для обучения ИИ и 1 экзафлопс для высокопроизводительных вычислений при потреблении всего 18,2 мегаватт энергии.

Диаграмма развернутой производительности суперкомпьютеров с использованием графических процессоров NVIDIA до 2024 года
Исследовательские центры готовы включитьцунами производительности GH200.

На основе жидкостного охлаждаемого системы BullSequana XH3000 от Eviden, JUPITER будет использовать архитектуру системы NVIDIA quad GH200 и сетевые технологии NVIDIA Quantum-2 InfiniBand для климатических и погодных прогнозов, поиска лекарств, гибридных квантовых вычислений и цифрового двойника. Узлы JUPITER quad GH200 будут настроены с 864 ГБ высокоскоростной памяти.

Это один из нескольких новых суперкомпьютеров, использующих Grace Hopper, объявленных NVIDIA на SC23.

Система HPE Cray EX2500 от Hewlett Packard Enterprise будет использовать четыре GH200, чтобы обеспечить мощность для множества AI-суперкомпьютеров, запускающихся в следующем году.

К примеру, HPE использует четыре GH200 для питания OFP-II, передовой системы высокопроизводительных вычислений в Японии, которой делятся Университет Цукуба и Университет Токио, а также системы DeltaAI, которая утроит вычислительные мощности для Национального центра высокопроизводительных вычислений в США.

HPE также создает систему Venado для Лос-Аламосской национальной лаборатории, первые GH200, развернутые в США. Кроме того, HPE создает суперкомпьютеры GH200 на Ближнем Востоке, в Швейцарии и в Великобритании.

Grace Hopper в Техасе и за его пределами

На Техасском центре высокопроизводительных вычислений (TACC) компания Dell Technologies создает суперкомпьютер Vista с использованием NVIDIA Grace Hopper и Grace CPU Superchips.

Более 100 глобальных предприятий и организаций, включая NASA Ames Research Center и Total Energies, уже приобрели системы раннего доступа к Grace Hopper, – сообщил Бак.

Они присоединяются к ранее объявленным пользователям GH200, таким как SoftBank и Университет Бристоля, а также огромной системе Леонардо с 14 000 графическими процессорами NVIDIA A100, обеспечивающей 10 эксафлопс AI-производительности для консорциума Cineca в Италии.

Взгляд из центров суперкомпьютерных вычислений

Лидеры из суперкомпьютерных центров всего мира поделились своими планами и выполняемой работой с использованием последних систем.

“Мы сотрудничаем с MeteoSwiss ECMWP, а также учеными из ETH EXCLAIM и проекта Earth-2 компании NVIDIA, чтобы создать инфраструктуру, которая позволит расширить границы во всех измерениях аналитики больших данных и вычислений экстремальных масштабов”, – сказал Томас Шультесс, директор Швейцарского национального суперкомпьютерного центра о работе над суперкомпьютером “Альпы”.

“У нас действительно внушительные показатели энергоэффективности наших систем”, – сказал Дэн Станцион, исполнительный директор TACC, говоря о Vista.

Это “настоящий трамплин для перехода пользователей от тех систем, которые мы использовали ранее, к изучению новой комбинации Grace Arm CPU и Hopper GPU, и мы планируем увеличить масштаб развертывания при запуске Horizon через несколько лет, вероятно, на 10 или 15 раз больше, чем то, что мы делаем с Vista”, – сказал он.

Ускорение квантового путешествия

Исследователи также используют сегодняшние ускоренные системы, чтобы открыть путь к будущим суперкомпьютерам.

В Германии JUPITER “изменит научные исследования в области климата, материалов, поиска препаратов и квантовых вычислений”, – сказала Кристель Михельсон, руководитель исследовательской группы по квантовой обработке информации в Julich.

“Архитектура JUPITER также позволяет без проблем интегрировать квантовые алгоритмы с параллельными HPC-алгоритмами, и это необходимо для эффективных гибридных симуляций квантовых HPC”, – добавила она.

Прогресс CUDA Quantum

Специальное обращение также показало, как NVIDIA CUDA Quantum – платформа для программирования ЦП, ГП и квантовых компьютеров, также известная как QPUs, продвигает исследования в области квантовых вычислений.

К примеру, исследователи из BASF, крупнейшей химической компании в мире, разрабатывают новый гибридный квантово-классический метод для симуляции химических веществ, которые могут защитить людей от вредных металлов. Они присоединились к исследователям из Брукхейвенской национальной лаборатории и HPE, которые также продвигают границы науки с помощью CUDA Quantum.

NVIDIA также объявила о сотрудничестве с Classiq, разработчиком инструментов для квантового программирования, с целью создания исследовательского центра жизнедеятельности в медицинском центре Тель-Авива Саураски, самой крупной учебной больнице Израиля. Центр будет использовать программное обеспечение Classiq и CUDA Quantum, работающий на системе NVIDIA DGX H100.

ОК. Отдельно, Quantum Machines развернет первую NVIDIA DGX Quantum, систему, использующую Grace Hopper Superchips, в Израильском национальном квантовом центре, которая направлена на продвижение научных достижений в различных областях. Система DGX будет подключена к сверхпроводящему квантовому процессору Quantware и фотонному квантовому процессору от ORCA Computing, оба основанные на CUDA Quantum.

Логотипы партнеров NVIDIA CUDA Quantum

“За всего два года наша квантовая вычислительная платформа NVIDIA собрала более 120 партнеров [выше], это свидетельство ее открытой и инновационной платформы”, – сказал Бак.

В целом, работа во многих областях открытий выявляет новый тренд, который сочетает ускоренные вычисления в масштабе дата-центров с полноценной инновацией NVIDIA.

“Ускоренные вычисления прокладывают путь к устойчивым вычислениям со сдвигами, которые обеспечивают не только удивительные технологии, но и более устойчивое и значимое будущее”, – заключил он.

Смотрите особое обращение NVIDIA на конференции SC23 ниже.