Ray сияет с использованием NVIDIA AI Сотрудничество с Anyscale помогает разработчикам создавать, настраивать, обучать и масштабировать производственные LLMs

Ray использует NVIDIA AI для создания и масштабирования LLMs с помощью Anyscale

Разработка больших моделей языка скоро достигнет сверхзвуковой скорости благодаря сотрудничеству между NVIDIA и Anyscale.

На ежегодной конференции разработчиков Ray Summit компания Anyscale – компания, стоящая за быстро растущим открытым единой вычислительной платформой для масштабируемых вычислений – объявила сегодня, что она внедряет искусственный интеллект NVIDIA в открытый исходный код Ray и платформу Anyscale. Он также будет интегрирован в Anyscale Endpoints, новую услугу, которая позволяет разработчикам приложений легко и экономично встраивать LLM в свои приложения, используя самые популярные модели с открытым исходным кодом.

Эти интеграции могут значительно ускорить разработку и повысить эффективность генеративного искусственного интеллекта, а также обеспечить безопасность для производственного искусственного интеллекта, от собственных LLM до открытых моделей, таких как Code Llama, Falcon, Llama 2, SDXL и многих других.

Разработчики смогут гибко развертывать программное обеспечение с открытым исходным кодом NVIDIA с помощью Ray или выбрать программное обеспечение NVIDIA AI Enterprise, работающее на платформе Anyscale, для полностью поддерживаемого и безопасного развертывания в производстве.

Ray и платформа Anyscale широко используются разработчиками, создающими передовые LLM для генеративных приложений искусственного интеллекта, которые способны оказывать поддержку интеллектуальным чат-ботам, кодированию-помощникам и мощным инструментам поиска и суммирования.

NVIDIA и Anyscale обеспечивают скорость, сэкономленные средства и эффективность

Генеративные приложения искусственного интеллекта завоевывают внимание бизнеса по всему миру. Для настройки, расширения и запуска LLM требуется значительные инвестиции и экспертиза. Совместно NVIDIA и Anyscale могут помочь снизить затраты и сложность разработки и развертывания генеративного искусственного интеллекта с помощью ряда интеграций приложений.

Новое открытое программное обеспечение NVIDIA TensorRT-LLM, анонсированное на прошлой неделе, будет поддерживать продукты Anyscale для повышения производительности и эффективности LLM и достижения экономии. Также поддерживается в программном обеспечении NVIDIA AI Enterprise, Tensor-RT LLM автоматически масштабирует вывод для запуска моделей параллельно на нескольких GPU, что может обеспечить до 8-кратного увеличения производительности при работе на GPU Tensor Core NVIDIA H100 по сравнению с GPU предыдущего поколения.

TensorRT-LLM автоматически масштабирует вывод для запуска моделей параллельно на нескольких GPU и включает в себя настраиваемые ядра GPU и оптимизации для широкого спектра популярных моделей LLM. Он также реализует новый числовой формат FP8, доступный в графическом процессоре NVIDIA H100 Tensor Core GPU Transformer Engine, и предлагает простой в использовании и настраиваемый интерфейс на языке Python.

Программное обеспечение NVIDIA Triton Inference Server поддерживает вывод на облако, центр обработки данных, краевые и встроенные устройства на GPU, CPU и других процессорах. Его интеграция может помочь разработчикам Ray повысить эффективность при развертывании моделей искусственного интеллекта из нескольких фреймворков глубокого обучения и машинного обучения, включая TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS XGBoost и другие.

С помощью фреймворка NVIDIA NeMo пользователи Ray смогут легко настраивать и настраивать LLM с помощью бизнес-данных, что открывает путь для LLM, понимающих уникальные возможности отдельных бизнесов.

NeMo – это облачный фреймворк с полным циклом разработки, который позволяет создавать, настраивать и развертывать модели генеративного искусственного интеллекта в любом месте. Он включает в себя обучающие и выводные фреймворки, инструментарий для охраны, инструменты кураторства данных и предварительно обученные модели, предлагая предприятиям простой, экономически выгодный и быстрый способ принять генеративный искусственный интеллект.

Варианты для открытого и полностью поддерживаемого производственного искусственного интеллекта

Открытый исходный код Ray и платформа Anyscale позволяют разработчикам легко переходить от открытого исходного кода к развертыванию производственного искусственного интеллекта в облаке в масштабе.

Платформа Anyscale обеспечивает полностью управляемую, готовую к предприятию единую вычислительную платформу, которая облегчает создание, развертывание и управление масштабируемыми приложениями искусственного интеллекта и Python с использованием Ray, помогая клиентам быстрее вывести на рынок продукты искусственного интеллекта с существенными экономическими выгодами.

Независимо от того, использует ли разработчик открытый исходный код Ray или поддерживаемую платформу Anyscale, основные функции Anyscale помогают легко оркестрировать рабочие нагрузки LLM. Интеграция с NVIDIA AI помогает разработчикам создавать, обучать, настраивать и масштабировать искусственный интеллект с еще большей эффективностью.

Ray и платформа Anyscale работают на ускоренных вычислениях ведущих облачных провайдеров, с возможностью работать на гибридных или мультиоблачных вычислениях. Это помогает разработчикам легко масштабироваться по мере необходимости большего вычислительного мощности для успешного развертывания LLM.

Сотрудничество также позволит разработчикам начать создавать модели на своих рабочих станциях с помощью NVIDIA AI Workbench и легко масштабировать их на гибридных или мультиоблачных ускоренных вычислениях, когда придет время перехода к производству.

Интеграция NVIDIA AI с Anyscale находится в разработке и ожидается, что будет доступна к концу года.

Разработчики могут подписаться, чтобы получать последние новости об этой интеграции, а также бесплатную 90-дневную оценку NVIDIA AI Enterprise.

Чтобы узнать больше, посетите Ray Summit в Сан-Франциско на этой неделе или посмотрите демонстрационное видео ниже.

Ознакомьтесь с этим уведомлением о планах по программному обеспечению NVIDIA.