NVIDIA расширяет платформу робототехники, чтобы удовлетворить рост генеративного искусственного интеллекта

NVIDIA расширяет свою платформу в области робототехники, чтобы приспособиться к растущему влиянию генеративного искусственного интеллекта

Мощные генеративные модели и облачные API и микросервисы приходят на край.

Генеративный AI привносит мощность моделей-трансформаторов и больших языковых моделей в практически любую отрасль. Теперь этот охват включает области, которые касаются края, робототехники и логистических систем: обнаружение дефектов, отслеживание активов в реальном времени, автономное планирование и навигация, взаимодействие человека с роботом и многое другое.

NVIDIA сегодня объявила о крупных расширениях двух фреймворков на платформе NVIDIA Jetson для робототехники и AI: фреймворк робототехники NVIDIA Isaac ROS стал доступен для всех, а расширение NVIDIA Metropolis на Jetson будет следующим.

Чтобы ускорить разработку и внедрение приложений AI на краю, NVIDIA также создала Jetson Generative AI Lab для разработчиков, где они могут использовать последние открытые генеративные AI модели.

• AutoGen Поддержка приложений следующего поколения больших языковых моделей
• 7 шагов к овладению большими языковыми моделями (LLM)
• Персонализировать результаты поиска с помощью интеграции Amazon Personalize и Amazon OpenSearch Service

Более 1,2 миллиона разработчиков и более 10 000 клиентов выбрали AI от NVIDIA и платформу Jetson, включая Amazon Web Services, Cisco, John Deere, Medtronic, Pepsico и Siemens.

С быстро развивающейся областью AI и все сложнее стоящими перед ними сценариями разработчики сталкиваются с удлинением циклов разработки для создания AI-приложений на краю. Перепрограммирование роботов и AI-систем в реальном времени для адаптации к изменяющейся среде, производственным линиям и потребностям автоматизации клиентов требует много времени и должностных навыков.

Генеративный AI предлагает нулевое обучение — способность модели распознавать ранее не виденные объекты в обучении — с интерфейсом естественного языка для упрощения разработки, внедрения и управления AI на краю.

Трансформация ландшафта AI

Генеративный AI значительно улучшает удобство использования, позволяя осуществлять изменения моделей по запросу на естественном языке. Эти AI модели более гибкие при обнаружении, сегментации, отслеживании, поиске и даже перепрограммировании — и помогают превзойти традиционные модели на основе сверточных нейронных сетей.

Ожидается, что генеративный AI добавит 10,5 миллиарда долларов к доходу производственных операций по всему миру к 2033 году, согласно ABI Research.

“Генеративный AI значительно ускорит внедрение AI на краю благодаря лучшей обобщаемости, удобству использования и более высокой точности, чем ранее,” – сказал Дипу Талла, вице-президент по встраиваемой и краевой вычислительной технике в NVIDIA. “Это крупнейшее программное расширение наших фреймворков Metropolis и Isaac на Jetson, совместно со сверхмощными моделями-трансформерами и генеративным AI, отвечает этим требованиям.”

Разработка с генеративным AI на краю

Jetson Generative AI Lab дает разработчикам возможность получить доступ к оптимизированным инструментам и учебным материалам для развертывания открытых LLMs, моделей распространения для создания потрясающих интерактивных изображений, моделей зрительного языка (VLMs) и визионных трансформаторов (ViTs), которые объединяют в себе зрительный AI и обработку естественного языка для полного понимания сцены.

Разработчики также могут использовать NVIDIA TAO Toolkit для создания эффективных и точных AI-моделей для приложений на краю. TAO предоставляет интерфейс с низким кодом для доработки и оптимизации моделей зрительного AI, включая ViT и основные модели зрительного AI. Они также могут настраивать и оптимизировать основные модели, такие как NVIDIA NV-DINOv2 или общедоступные модели, например, OpenCLIP, для создания очень точных моделей зрительного AI с минимальным количеством данных. Теперь TAO также включает VisualChangeNet, новую модель на основе трансформера для обнаружения дефектов.

Применение новых фреймворков Metropolis и Isaac

NVIDIA Metropolis упрощает и делает более экономически эффективными внедрение ведущих в мире решений на основе зрительного AI для улучшения критической операционной эффективности и проблем безопасности. Платформа предлагает коллекцию мощных интерфейсов программирования приложений и микросервисов для разработчиков, чтобы быстро создавать сложные приложения на основе зрения.

Более 1 000 компаний, включая BMW Group, Pepsico, Kroger, Tyson Foods, Infosys и Siemens, используют инструменты разработчика NVIDIA Metropolis для решения задач Интернета вещей, обработки датчиков и операционных задач с помощью AI для зрения – и темпы принятия решений увеличиваются. Инструменты уже были загружены более 1 миллиона раз теми, кто собирается создать приложения AI для зрения.

Для того чтобы помочь разработчикам быстро создавать и развертывать масштабируемые приложения AI для зрения, до конца года будет доступен расширенный набор API и микросервисов Metropolis на NVIDIA Jetson.

Сотни клиентов используют платформу NVIDIA Isaac для разработки высокопроизводительных робототехнических решений в различных областях, включая сельское хозяйство, автоматизацию складов, доставку на последнем километре и сервисная робототехника, и многих других.

На ROSCon 2023 NVIDIA объявила о значительных улучшениях возможностей восприятия и симуляции с новыми выпусками программного обеспечения Isaac ROS и Isaac Sim. Построенный на широко используемой открытой платформе Robot Operating System (ROS), Isaac ROS придает автоматизации восприятие, дают возможность видеть и слышать движущиеся объекты. Используя мощность GPU-ускоренных GEMs, включая визуальную подвижность, глубинное восприятие, восстановление трехмерной сцены, локализацию и планирование, разработчики робототехники получают инструменты, необходимые для быстрой разработки робототехнических решений, адаптированных для различного рода приложений.

Isaac ROS достиг статуса готовности к производству с последним релизом Isaac ROS 2.0, позволяя разработчикам создавать и продвигать на рынок высокопроизводительные робототехнические решения с помощью Jetson.

“ROS продолжает расти и развиваться, предоставляя программное обеспечение с открытым исходным кодом для всего робототехнического сообщества”, – сказал Джефф Биггс, главный технический директор Фонда Robot Operating System. “Новые предварительно собранные пакеты ROS 2 от NVIDIA, запущенные в этом релизе, ускорят этот рост, сделав ROS 2 широко доступным для обширного сообщества разработчиков NVIDIA Jetson.

Поставка новых рабочих процессов AI

Разработка решения AI, готового для производства, включает оптимизацию разработки и обучения моделей AI, адаптированных к конкретным сценариям использования, реализацию надежных функций безопасности на платформе, организацию приложения, управление парками, обеспечение бесшовной связи между краем и облаком и многое другое.

NVIDIA объявила о сделанном выборе набора кураторских рабочих процессов AI, основанных на фреймворках Metropolis и Isaac, которые позволяют разработчикам быстро принять весь рабочий процесс или интегрировать отдельные компоненты по выбору, что приводит к существенному сокращению времени и затрат на разработку. Три различных рабочих процесса AI включают: сетевую запись видео, автоматическую оптическую проверку и автономного мобильного робота.

“NVIDIA Jetson, с его широкой и разнообразной пользовательской базой и партнерской экосистемой, способствовал революции в робототехнике и AI на краю”, – сказал Джим Макгрегор, главный аналитик Tirias Research. “По мере увеличения сложности требований к приложениям, нам необходимы платформы, которые упрощают и ускоряют создание решений для краевых развертываний. Это значительное программное расширение от NVIDIA дает разработчикам доступ к новым моделям мульти-сенсорного оборудования и возможностям для генеративного AI”.

Будущие изменения 

NVIDIA объявила набор системных служб, которые являются фундаментальными возможностями, необходимыми каждому разработчику при создании решений AI на краю. Эти службы упростят интеграцию в рабочие процессы и освободят разработчика от тяжкой задачи создания их с нуля.

Ожидается, что новый NVIDIA JetPack 6, станет доступным до конца года, позволит разработчикам AI оставаться на передовой в области вычислений, без необходимости обновления полной версии Jetson Linux, что существенно ускорит сроки разработки и освободит от зависимостей Jetson Linux. JetPack 6 также будет использовать совместные усилия с партнерами дистрибуторов Linux для расширения горизонта выбора дистрибутивов на основе Linux, включая оптимизированный и сертифицированный Ubuntu от Canonical, Wind River Linux, Concurrent Real-Time Redhawk Linux и другие дистрибутивы на основе Yocto.

Преимущества экосистемы партнеров от расширения платформы

Партнерская экосистема Jetson предоставляет широкий спектр поддержки, начиная от аппаратных средств, программного обеспечения для AI и услуг по разработке приложений до сенсоров, связи и инструментов разработчика. Эти инноваторы NVIDIA Partner Network сыграли важную роль в предоставлении строительных блоков и субсистем для множества продаваемых на рынке продуктов.

Самый последний релиз позволяет партнерам Jetson ускорить время выхода на рынок и расширить свою клиентскую базу, применяя искусственный интеллект с увеличенной производительностью и возможностями.

Партнеры-независимые поставщики программного обеспечения также смогут расширить свои предложения для Jetson.

Присоединяйтесь к нам во вторник, 7 ноября в 9:00 утра по PT на вебинаре Применение генеративного искусственного интеллекта с помощью NVIDIA Jetson, где технические эксперты расскажут подробнее о новостях, объявленных здесь, включая ускоренные API и методы квантования для развертывания LLM и VLM на Jetson, оптимизацию визионных трансформаторов с помощью TensorRT и многое другое.

Зарегистрируйтесь здесь для получения предварительного доступа к NVIDIA Metropolis.