«Что такое суперNIC?»

«Что такое суперNIC и почему он так важен?»

Generative AI is the latest turn in the fast-changing digital landscape. One of the groundbreaking innovations making it possible is a relatively new term: SuperNIC. 

Что такое SuperNIC?

SuperNIC – это новый класс сетевых ускорителей, разработанный для усиления гипермасштабных рабочих нагрузок искусственного интеллекта в облаках на основе Ethernet. Он обеспечивает мгновенную сетевую связь для коммуникации между графическими процессорами GPU с использованием технологии удаленного прямого доступа к памяти (RDMA) по сети Ethernet (RoCE) и достигает скоростей до 400 Гбит/с.  

SuperNIC объединяет следующие уникальные характеристики: 

• Высокоскоростная переупорядочивание пакетов для обеспечения приема и обработки данных в том же порядке, в котором они были переданы. Это поддерживает последовательную целостность потока данных. 
• Продвинутый контроль за перегрузкой с использованием данных телеметрии в реальном времени и сетеориентированных алгоритмов для управления и предотвращения перегрузок в AI-сетях. 
• Программируемый вычислительный путь для ввода/вывода (I/O), позволяющий настраивать и расширять сетевые инфраструктуры в облаке центров обработки данных искусственного интеллекта. 
• Энергоэффективный, низкопрофильный дизайн, который эффективно учитывает рабочие нагрузки искусственного интеллекта в рамках ограниченных энергобюджетов. 
• Полноценная оптимизация искусственного интеллекта на всех уровнях, включая вычисления, сетевые соединения, хранение, системное программное обеспечение, библиотеки коммуникации и прикладные программные платформы. 

Недавно NVIDIA представила мирвую первую SuperNIC, разработанную специально для вычисления искусственного интеллекта, на основе платформы сетевых коммутаторов BlueField-3. Он является частью платформы NVIDIA Spectrum-X, где он взаимодействует беспрепятственно с сетевой коммутационной системой Spectrum-4 Ethernet.  

• Построение сортировщика Lego Technic с использованием распознавания объектов в реальном времени
• Наука о данных Современный опорный столп экономики
• Декодирование данных инсайты от генерального директора Paisabazaar

Вместе NVIDIA BlueField-3 SuperNIC и система коммутации Spectrum-4 формируют базу ускоренной вычислительной ткани, специально разработанную для оптимизации рабочих нагрузок искусственного интеллекта. Spectrum-X всегда обеспечивает высокий уровень эффективности сети, превосходя традиционные среды Ethernet. 

«В мире, где искусственный интеллект является движущей силой следующей волны технологического развития, BlueField-3 SuperNIC – это важная составляющая механизма», – сказала Яэль Шенахав, вице-президент по продуктам DPU и NIC в компании NVIDIA. – SuperNICs гарантируют, что ваши рабочие нагрузки искусственного интеллекта выполняются с эффективностью и скоростью, делая их основными компонентами для создания будущего вычисления искусственного интеллекта». 

Развивающаяся среда искусственного интеллекта и сети 

Область искусственного интеллекта проходит сейсмические перемены, благодаря введению генеративного искусственного интеллекта и большим языковых моделям. Эти мощные технологии открыли новые возможности, позволяя компьютерам обрабатывать новые задачи.  

Успех искусственного интеллекта во многом зависит от использования вычислений, ускоренных графическим процессором (GPU), для обработки огромных объемов данных, обучения больших моделей искусственного интеллекта и обеспечения мгновенной рекомендации. Эта новая вычислительная мощность открыла новые возможности, но также представляет вызов для облачных сетей Ethernet. 

Традиционная технология Ethernet, лежащая в основе интернет-инфраструктуры, была создана для обеспечения широкой совместимости и связи слабо связанных приложений. Она не была разработана для обработки требовательных вычислительных задач современных рабочих аутсорсингов ИИ, которые включают плотно связанную параллельную обработку, быстрые пересылки данных и уникальные коммуникационные схемы, требующие оптимизированной сетевой связи.  

Основные сетевые интерфейсные карты (NIC) были разработаны для общего назначения вычислений, универсальной передачи данных и совместимости. Они никогда не были разработаны для возможности справляться с уникальными вызовами, связанными с вычислительной интенсивностью рабочих нагрузок искусственного интеллекта.  

Стандартные NIC не обладают требуемыми функциями и возможностями для эффективной передачи данных, низкой задержки и детерминированной производительности, критически важной для задач искусственного интеллекта. SuperNICs, напротив, предназначены специально для современных рабочих нагрузок искусственного интеллекта.  

Преимущества SuperNIC в средах вычислений искусственного интеллекта 

Управляемые обработкой данных устройства (DPUs) предлагают целый ряд продвинутых функций, обеспечивающих высокий пропускной способности, низкую задержку сетевой связи и многое другое. С момента их появления в 2020 году DPUs стали популярными в области облачных вычислений, в первую очередь благодаря их способности разгружать, ускорять и изолировать обработку инфраструктуры центров обработки и обмена данных. 

Хотя DPUs и SuperNICs обладают рядом общих характеристик и возможностей, SuperNICs уникально оптимизированы для ускорения сетей для искусственного интеллекта. В следующей таблице показано, как они сравниваются: 

Распределенная AI-тренировка и потоки коммуникации выводов сильно зависят от наличия пропускной способности сети для успешной работы. SuperNIC, отличающийся изящным дизайном, масштабируется более эффективно, чем DPU, обеспечивая впечатляющую пропускную способность сети в 400 Гб/с на один GPU.  

Соотношение 1:1 между графическими процессорами и SuperNIC в системе может значительно повысить эффективность работы с AI-нагрузкой, приводя к увеличению производительности и превосходным результатам для предприятий.  

Единственная цель SuperNIC – ускорение сетевого взаимодействия для AI облачных вычислений. Вследствие этого она достигает данной цели с помощью меньшей вычислительной мощности, нежели DPU, для которого требуются значительные вычислительные ресурсы для выгрузки приложений с хостового CPU.  

Сниженные требования к вычислительным мощностям также приводят к снижению энергопотребления, что особенно важно в системах с до восьми SuperNICs. 

Дополнительными отличительными особенностями SuperNIC являются ее специальные возможности для AI сетей. При плотном интегрировании с AI-оптимизированным коммутатором NVIDIA Spectrum-4 предлагает адаптивную маршрутизацию, обработку пакетов в произвольном порядке и оптимизированное управление перегрузкой. Эти новейшие функции являются ключевыми для ускорения сред сетей AI через Ethernet. 

Революция в AI облачных вычислений

SuperNIC NVIDIA BlueField-3 предлагает несколько преимуществ, которые делают ее важной для AI-инфраструктуры: 

• Максимальная эффективность AI-нагрузки: SuperNIC BlueField-3 специально разработана для сетевых интенсивных вычислений, что делает ее идеальной для AI-нагрузок. Она обеспечивает эффективное выполнение задач AI без узких мест. 
• Постоянная и предсказуемая производительность: В многопользовательских центрах обработки данных, где одновременно обрабатываются множество задач, SuperNIC BlueField-3 гарантирует, что производительность каждой задачи и арендатора будет изолированной, предсказуемой и не будет зависеть от других сетевых действий. 
• Безопасная облачная инфраструктура для нескольких арендаторов: Безопасность – это высшим приоритетом, особенно в центрах обработки данных, работающих с конфиденциальной информацией. SuperNIC BlueField-3 поддерживает высокий уровень безопасности, позволяя нескольким арендаторам сосуществовать, сохраняя данные и процессы в изолированном состоянии. 
• Расширяемая сетевая инфраструктура: SuperNIC BlueField-3 не ограничивается одним направлением – она очень гибкая и приспособится к множеству других потребностей в сетевой инфраструктуре. 
• Поддержка широкого спектра производителей серверов: SuperNIC BlueField-3 легко интегрируется в большинство серверов класса предприятий без излишнего потребления энергии в центрах обработки данных.

Узнайте больше о SuperNICs NVIDIA BlueField-3, включая интеграцию с платформами центров обработки данных NVIDIA, в белой книге: Next-Generation Networking for the Next Wave of AI.