Сдача экзамена NVIDIA ускоряет обучение генеративного ИИ в бенчмарках MLPerf
Экзамен NVIDIA ускорение обучения генеративного искусственного интеллекта в бенчмарках MLPerf
NVIDIA AI платформа подняла планку для обучения и высокопроизводительных вычислений в последних отраслевых тестах MLPerf.
Среди множества новых рекордов и достижений выделяется одно в области генеративного искусственного интеллекта: NVIDIA Eos — суперкомпьютер на базе искусственного интеллекта, работающий на 10 752 графических процессорах NVIDIA H100 Tensor Core и сети NVIDIA Quantum-2 InfiniBand, завершил задание обучения модели GPT-3 с 175 миллиардами параметров на одном миллиарде токенов всего за 3,9 минуты.
Это почти втрое быстрее, чем рекорд в 10,9 минут, установленный NVIDIA менее шести месяцев назад, во время ввода данного теста .
- NVIDIA сотрудничает с экономиками АТЭС для изменения жизни, увеличения возможностей, улучшения результатов
- Как создать систему обнаружения повреждений автомобиля на основе компьютерного зрения
- Оптимизируйте затраты на AWS с помощью расширенных метрик, панелей и оповещений CloudWatch
Для теста использовалась часть полного набора данных GPT-3, который используется в популярном сервисе ChatGPT и, согласно экстраполяции, теперь Eos может обучать эту модель всего за восемь дней, в 73 раз быстрее, чем предыдущая передовая система, использующая 512 графических процессоров A100.
Ускорение процесса обучения снижает затраты, экономит энергию и ускоряет время выхода на рынок. Это важная задача, которая позволяет широко распространять большие языковые модели, так что каждый бизнес может использовать их с помощью инструментов, таких как фреймворк NVIDIA NeMo для настройки LLM (больших языковых моделей).
В новом тесте генеративного искусственного интеллекта в этом раунде 1024 графических процессора архитектуры NVIDIA Hopper завершили задание по обучению модели Stable Diffusion text-to-image за 2,5 минуты, устанавливая высокую планку для этой новой реализации.
Принятие этих двух тестов позволяет MLPerf подтвердить свою лидирующую роль в рейтинге производительности искусственного интеллекта, поскольку генеративный искусственный интеллект является наиболее трансформационной технологией нашего времени.
Расширение системы
Последние результаты достигнуты, в том числе, благодаря использованию большего количества акселераторов, чем когда-либо ранее в тестах MLPerf. 10 752 графических процессора H100 превосходят предыдущих 3584 графических процессора Hopper, использованных в июне при обучении искусственного интеллекта NVIDIA.
Увеличение количества графических процессоров в 3 раза привело к увеличению производительности в 2,8 раза при эффективности 93%, при этом частично благодаря оптимизации программного обеспечения.
Эффективное масштабирование является ключевым требованием в генеративном искусственном интеллекте, так как LLM увеличиваются в десятки раз каждый год. Последние результаты показывают способность NVIDIA справиться с этим непрецедентным вызовом даже для самых крупных центров обработки данных в мире.
Эти достижения стали возможны благодаря использованию в полной мере инновационной платформы с ускорителями, системами и программным обеспечением, которые использовались как Eos, так и Microsoft Azure в последнем раунде.
Eos и Azure оба использовали по 10 752 графических процессора H100 в отдельных заявках. Они достигли производительности, отличающейся на 2% друг от друга, что демонстрирует эффективность NVIDIA AI в центрах обработки данных и облаках.
NVIDIA полагается на Eos для широкого спектра критически важных задач. Он помогает развивать инициативы, такие как NVIDIA DLSS, программное обеспечение на основе искусственного интеллекта для графики последнего поколения, а также исследовательские проекты NVIDIA, такие как ChipNeMo, инструменты генеративного искусственного интеллекта, помогающие проектировать видеокарты нового поколения.
Прогресс во всех задачах
NVIDIA установила несколько новых рекордов в этом раунде, помимо достижений в генеративном искусственном интеллекте.
Например, графические процессоры H100 были на 1,6 раза быстрее моделей обучения предыдущего раунда, широко применяемых для помощи пользователям в поиске информации в Интернете. Производительность повысилась на 1,8 раза на модели RetinaNet, модели компьютерного зрения.
Эти увеличения были достигнуты благодаря сочетанию прогресса в программном обеспечении и масштабированного оборудования.
NVIDIA вновь была единственной компанией, которая запустила все тесты MLPerf. Графические процессоры H100 показали наиболее быструю производительность и масштабирование в каждом из девяти тестов.
Увеличение скорости приводит к более быстрому выходу на рынок, снижению затрат и энергосбережению для пользователей, обучающих массивные модели машинного обучения или настраивающих их с помощью фреймворков, таких как NeMo, для возможностей своего бизнеса.
В этом раунде одиннадцать производителей систем использовали платформу искусственного интеллекта NVIDIA в своих заявках, включая ASUS, Dell Technologies, Fujitsu, GIGABYTE, Lenovo, QCT и Supermicro.
Партнеры NVIDIA участвуют в MLPerf потому что они знают, что это ценный инструмент для клиентов, оценивающих платформы и поставщиков искусственного интеллекта.
Расширение HPC-тестов
В тесте MLPerf HPC, отдельном тесте для прогнозирования 3D-структуры белка по последовательности его аминокислот, графические процессоры H100 обеспечивают производительность в два раза выше, чем графические процессоры NVIDIA A100 Tensor Core GPUs в последнем HPC-раунде. Результаты показали увеличение производительности в 16 раз с момента первого HPC-раунда MLPerf в 2019 году.
Тест включал новый тест, обучающий модель OpenFold, которая предсказывает 3D-структуру белка по последовательности его аминокислот. OpenFold может выполнить в течение нескольких минут важную работу в области здравоохранения, которую раньше исследователи выполняли за недели или месяцы.
Понимание структуры белка является ключевым для быстрого поиска эффективных лекарств, потому что большинство лекарств действуют на белки – клеточные компоненты, которые помогают контролировать многие биологические процессы.
В HPC-тесте MLPerf графические процессоры H100 обучали модель OpenFold за 7,5 минут. Версия модели OpenFold и программное обеспечение NVIDIA, использованное для ее обучения, скоро станут доступны в NVIDIA BioNeMo, платформе генеративного искусственного интеллекта для поиска лекарств.
В этом раунде несколько партнеров представили заявки на платформе искусственного интеллекта NVIDIA. Среди них Dell Technologies и центры превосходного вычисления в Клемсонском университете, Техасском центре передовых вычислений и — с помощью Hewlett Packard Enterprise (HPE) — национальной лаборатории Лоуренса Беркли.
Тесты с широкой поддержкой
С момента своего основания в мае 2018 года тесты MLPerf получили широкую поддержку как от предприятий, так и от академического сообщества. Организации, которые поддерживают эти тесты, включают Amazon, Arm, Baidu, Google, Harvard, HPE, Intel, Lenovo, Meta, Microsoft, NVIDIA, Стэнфордский университет и Торонтский университет.
Тесты MLPerf прозрачны и объективны, поэтому пользователи могут полагаться на результаты для принятия информированных решений о покупке.
Все программное обеспечение, которое использует NVIDIA, доступно в репозитории MLPerf, так что все разработчики могут достичь одинаковых результатов мирового класса. Эти оптимизации программного обеспечения непрерывно интегрируются в контейнеры, доступные на NGC, программном центре NVIDIA для приложений с использованием графического процессора.
