Искусственный интеллект (AI) в Azure Machine Learning Операционализация разработки приложений для преобразования AI

Превращение разработки AI в реальность операционализация искусственного интеллекта (AI) с помощью Azure Machine Learning

В эпоху генеративного ИИ лидеры оказываются на перекрестке инноваций и целей. Вопрос, который звучит в зале заседания и на конференциях по науке о данных, таков: как этот новый набор передовых технологий можно использовать для продвижения организационных целей с креативностью и деловой гибкостью, сохраняя социальную ответственность? Генеративный ИИ – это не просто инструмент; его обещание, совместно с уникальными бизнес-данными, обеспечивает конкурентное преимущество.

Команда Azure Machine Learning была на переднем крае инноваций, внедряя возможности генеративного ИИ в нашу платформу в течение последнего года, включая добавление в наш каталог моделей множества моделей с открытым исходным кодом. На мероприятии Microsoft Inspire мы объявили о добавлении моделей Llama 2 от Meta и моделей Falcon от Технологического инновационного института.

Область MLOps развивается, включая LLMOps, процесс совершенствования и понимания выбора, настройки и управления большими моделями-трансформаторами для удовлетворения различных потребностей в организации, а также особенностей мониторинга этих решений в масштабе. Это представляет собой новый набор навыков в операционной деятельности для многих компаний. Мы инвестировали в эту специализированную область, добавив несколько возможностей в нашу платформу Azure Machine Learning.

• Meta AI представляет AnyMAL будущее мультимодальных языковых моделей, объединяющих текст, изображения, видео, аудио и данные сенсоров движения
• Простое руководство по пониманию функций apply() в R
• Ретро-инженерирование схемы базы данных GPT против Bard против LLama2 (Эпизод 2)

В этом месяце мы рады объявить несколько новых дополнений к нашему портфолио генеративного ИИ в Azure Machine Learning.

Откройте, настройте и разверните модели зрения и мультимодальности в каталоге моделей Azure Machine Learning

Мы постоянно ищем эффективные новые способы для специалистов по машинному обучению и разработчиков, чтобы они могли легко находить, разрабатывать, настроить и развернуть предварительно обученные модели искусственного интеллекта. На конференции Build мы объявили о публичном предварительном просмотре фундаментальных моделей в каталоге моделей Azure Machine Learning. Каталог моделей служит центральным хабом для изучения коллекций различных фундаментальных моделей от Hugging Face, Meta и Azure OpenAI Service. Сегодня – еще одна веха: предварительный просмотр разнообразного набора новых моделей зрения с открытым исходным кодом, охватывающих классификацию изображений, обнаружение объектов и сегментацию изображений в нашем каталоге моделей.

С помощью этих новых возможностей разработчики смогут легко интегрировать мощные модели зрения в свои приложения и продвигать инновации в области искусственного интеллекта в таких отраслях, как предварительное обслуживание, решения для умных магазинов и автономные транспортные средства.

Рисунок 1. Поиск моделей зрения в каталоге моделей Azure Machine Learning.

Кроме того, мы радостно объявляем о значительных обновлениях AutoML для изображений и NLP (обработки естественного языка), являющихся неотъемлемыми компонентами пакета Azure Machine Learning. Обновленная архитектура переходит от монолитного дизайна к модульному компонентному обучающему конвейеру, предлагая улучшенную масштабируемость, гибкость, отладку и надежность. Теперь вы можете легко включать последние фундаментальные модели в каталог моделей в свои проекты, настраивать конвейеры для конкретных задач, таких как обнаружение объектов или классификация текста, и экономить на вычислительных затратах благодаря эффективному повторному использованию компонентов. Независимо от того, настраиваете ли вы существующие модели или изучаете новые архитектуры, эти обновления упрощают выполнение, мониторинг и масштабирование ваших проектов машинного обучения, используя последние инновации в области искусственного интеллекта.

– Читайте блог о новостях для получения дополнительной информации о новых моделях зрения.

– Читайте блог AutoML & NLP для более подробного изучения улучшений AutoML.

Введение в процесс программирования в потоке предложений для оптимизации разработки

Большие языковые модели (LLM) позволяют выполнять множество интеллектуальных задач, которые прежде были невозможны. В результате возникает необходимость в создании приложений искусственного интеллекта, которые используют LLM. Поскольку LLM быстро развиваются, промпт-разработка и LLMOps играют важную роль в раскрытии полного потенциала LLM с помощью настроенных решений, соответствующих конкретным бизнес-потребностям.

Для оптимизации итеративных процессов настройки качества с помощью промпт-разработки мы на конференции Build 2023 представили Azure Machine Learning prompt flow – интерактивную студийную среду для разработки, экспериментирования, оценки и развертывания рабочих процессов LLM.

Промпт флоу предлагает ряд преимуществ, которые помогают пользователям переходить от идеи к экспериментам и, в конечном итоге, к готовым к производству приложениям, основанным на LLM. При общении с клиентами мы часто слышим три самых распространенных вопроса: как управлять версиями промпта, как интегрироваться с процессами CI/CD и как экспортировать и развертывать потоки промпта?

Чтобы ответить на эти вопросы и расширить возможности в области более надежного LLMOps, мы представляем обновление опыта работы с кодом в промпт-флоу через нашу SDK, CLI и расширение для VS Code, которое теперь доступно в предварительной версии. Теперь разработчики могут легко экспортировать папку с потоком из пользовательского интерфейса промпт-флоу и интегрировать ее с выбранным репозиторием кода, что обеспечивает контроль версий и эффективное отслеживание рабочих процессов и промптов. SDK промпт-флоу позволяет разработчикам не только тестировать потоки локально и получать результаты одиночного запуска, но и отправлять пакетные запуски потока в облачное рабочее пространство и тщательно оценивать результаты запуска, обеспечивая разработчикам возможность работы с обширными сценариями тестирования. Для обеспечения непрерывной интеграции и развертывания промпт-флоу CLI и SDK позволяют легко интегрироваться с Azure DevOps и GitHub Actions. Расширение промпт-флоу для VS Code улучшает этот процесс разработки, позволяя быстро тестировать, оттачивать и отлаживать потоки в интерфейсе, в точности повторяющем пользовательский интерфейс. Пользователи также могут просто импортировать свой локальный поток непосредственно в пользовательский интерфейс Azure Machine Learning или экспортировать папку с CLI в локальное хранилище для плавного перехода между локальной и облачной средами, чтобы гарантировать синхронизацию между локальной разработкой и облачными возможностями и использовать все возможности Azure Machine Learning.

– Проверьте это демонстрационное видео, чтобы узнать, как именно работает опыт работы с кодом в промпт-флоу.

– Посетите нашу документацию, чтобы узнать больше о промпт-флоу.

Отслеживайте свои генеративные приложения ИИ в производстве с Azure Machine Learning

Отслеживание моделей в производстве является неотъемлемой частью жизненного цикла ИИ. Изменения в данных и поведении пользователей могут влиять на ваше приложение со временем, что может привести к устаревшим ИИ-системам, способным давать нежелательные результаты, что может негативно сказаться на бизнес-результаты и подвергнуть организации рискам в области соблюдения требований и репутации. К сожалению, процесс отслеживания генеративных приложений ИИ с точки зрения безопасности, качества и производительности является трудоемким без готовых инструментов. Сегодня начинается возможность отслеживания генеративных приложений ИИ в производстве с помощью Azure Machine Learning.

Теперь пользователи могут собирать данные в производстве, используя Model Data Collector, анализировать ключевые метрики безопасности и качества регулярно, получать своевременные уведомления о критических проблемах и визуализировать результаты с течением времени на богатой информацией панели инструментов в Azure Machine Learning studio.

Это возможность интегрируется с предустановленными трубопроводами оценки, аннотации и измерения AzureML, чтобы оценить безопасность и качество генерации. Теперь вы можете отслеживать свое приложение по ключевым метрикам, таким как связность, грамотность, связанность, актуальность и схожесть, настраивая собственные пороги.

Для производительности вы также можете просматривать и отслеживать потребление токенов для ваших приложений с использованием системных метрик промпт-флоу, таких как общее количество токенов промпта и завершения для использования вашего приложения.

Вместе эти возможности помогают вам лучше обнаруживать и диагностировать проблемы, понимать шаблоны использования и оптимизировать ваше приложение с помощью prompt engineering. В результате, мониторинг модели для генеративных приложений ИИ позволяет создавать более точные, ответственные и соответствующие требованиям приложения в производстве.

– Посетите нашу документацию, чтобы узнать больше о данной функции.

Рисунок 2. На странице обзора мониторинга пользователи могут настраивать мониторинг для своего приложения, просматривать общую производительность и проверять уведомления.

Рисунок 3. На странице с подробностями мониторинга пользователи могут просматривать временные ряды метрик, гистограммы, детализированную производительность и устранять уведомления.

Следующие шаги

Наши объявления в этом месяце демонстрируют, как Azure Machine Learning постоянно развивается, слушая наших клиентов и совершенствуя нашу платформу. За несколько месяцев на Microsoft Ignite мы планируем представить несколько новых возможностей, которые помогут ученым-исследователям и разработчикам использовать мощь Generative AI в их организациях. Мы надеемся, что вы присоединитесь к нам, чтобы узнать больше. В то же время, попробуйте Azure Machine Learning бесплатно, и мы призываем вас присоединиться к нашей программе “Insiders”. Если вы уже являетесь клиентом Azure Machine Learning, пожалуйста, посетите наш веб-сайт с документацией для получения дополнительной информации.

Узнайте больше здесь!

Статья изначально опубликована здесь Ричардом Цо. Репост с разрешения.