Snorkel AI x Hugging Face разблокируйте основные модели для предприятий

Snorkel AI и Hugging Face предлагают доступ к ключевым моделям для предприятий.

Эта статья является перепостом из оригинальной публикации от 6 апреля 2023 года на блоге Snorkel, автор – Фрия Берг .

Поскольку OpenAI выпускает GPT-4, а Google представляет Bard в бета-версии, предприятия по всему миру с нетерпением ожидают возможности использовать мощь основных моделей. По мере роста этого восторга возрастает и понимание того, что большинство компаний и организаций не обладают необходимыми навыками, чтобы правильно использовать основные модели.

Основные модели представляют уникальный набор вызовов для предприятий. Их более чем когда-либо большой размер делает их сложными и дорогостоящими для самостоятельного размещения компаниями, а использование готовых основных моделей для производственных случаев использования может означать плохую производительность или значительные риски в области управления и соответствия нормам.

Snorkel AI сокращает разрыв между основными моделями и практическими случаями использования в предприятии и продемонстрировала впечатляющие результаты для инноваторов в области искусственного интеллекта, таких как Pixability. Мы сотрудничаем с Hugging Face, наиболее известной своим огромным репозиторием готовых к использованию моделей с открытым исходным кодом, чтобы предоставить предприятиям еще больше гибкости и выбора при разработке приложений искусственного интеллекта.

• Использование Hugging Face для сложных генеративных ИИ-применений
• Инженеры создают альтернативу батарее, используя цемент и углеродный черный.
• 25+ Подсказок ChatGPT для генерации большего количества потенциальных клиентов (и увеличения продаж)

Основные модели в Snorkel Flow

Платформа разработки Snorkel Flow позволяет пользователям адаптировать основные модели для своих конкретных случаев использования. Разработка приложений начинается с изучения предсказаний выбранной основной модели “из коробки” на их данных. Эти предсказания становятся первоначальной версией меток для обучения для этих точек данных. Snorkel Flow помогает пользователям определить режимы ошибок в этой модели и эффективно их исправить с помощью программной разметки, которая может включать обновление меток обучения с помощью эвристик или подсказок. Базовая основная модель затем может быть донастроена на обновленных метках и снова оценена, при этом этот итеративный процесс “обнаружение и исправление” продолжается до тех пор, пока адаптированная основная модель не будет достаточно качественной для развертывания.

Hugging Face помогает обеспечить этот мощный процесс разработки, предоставляя более 150 000 моделей с открытым исходным кодом, доступных немедленно из одного источника. Многие из этих моделей специализированы на данных, специфичных для определенной области, например, модели BioBERT и SciBERT, используемые для демонстрации того, как можно использовать машинное обучение для обнаружения нежелательных реакций на лекарственные препараты. Одна – или, лучше всего, несколько – специализированных базовых моделей могут дать пользователям стартовый толчок для начальных предсказаний, подсказок для улучшения меток или донастройки конечной модели для развертывания.

Как Hugging Face помогает?

Партнерство Snorkel AI с Hugging Face усиливает возможности основных моделей Snorkel Flow. Изначально мы предлагали только небольшое количество основных моделей. Каждая из них требовала отдельного сервиса, что делало это чрезвычайно дорогостоящим и сложным для нас, чтобы предложить предприятиям гибкость использования быстро растущего разнообразия доступных моделей. Внедрение сервиса Inference Endpoint от Hugging Face позволило нам расширить число основных моделей, к которым могут обращаться наши пользователи, при этом сохраняя управляемость затрат.

Сервис Hugging Face позволяет пользователям создавать API модели всего в несколько кликов и начинать его использование немедленно. Ключевым моментом является наличие возможности “приостановки и возобновления”, которая позволяет нам активировать API модели, когда клиенту это необходимо, и переводить его в спящий режим, когда эта необходимость отпадает.

“Мы были приятно удивлены тем, насколько просто было настроить сервис Inference Endpoint от Hugging Face. Все параметры конфигурации были достаточно понятными, но у нас также был доступ ко всем параметрам, которые нам были нужны в отношении выбора облачной платформы, требуемого уровня безопасности и т. д.”

– CTO и сооснователь Snorkel Брэден Хэнкок

Как это помогает клиентам Snorkel?

У немногих предприятий есть ресурсы для обучения собственных основных моделей с нуля. Хотя у многих могут быть внутренние компетенции для донастройки собственной версии основной модели, им может быть трудно собрать необходимый объем данных для этой задачи. Данные-ориентированная платформа Snorkel для разработки основных моделей и ее соответствие ведущим инноваторам отрасли, таким как Hugging Face, помогают предоставить пользователям доступ к мощи основных моделей.

“С помощью Snorkel AI и сервисов Inference Endpoints от Hugging Face компании ускорят разработку своих данных-центрических приложений искусственного интеллекта с использованием открытых исходных кодов в основе. Машинное обучение становится стандартным способом создания технологий, и создание решений на основе открытого исходного кода позволяет компаниям создавать правильное решение для своего случая использования и контролировать опыт, который они предлагают своим клиентам. Мы с нетерпением ждем, когда Snorkel AI обеспечит автоматическую разметку данных для предприятий на основе моделей Hugging Face с открытым исходным кодом и сервисов Inference Endpoints, нашего производственного сервиса машинного обучения.”

Clement Delangue, сооснователь и генеральный директор, Hugging Face

Заключение

Вместе Snorkel и Hugging Face делают проще, чем когда-либо, получение ценности от фундаментальных моделей для крупных компаний, государственных агентств и инноваторов искусственного интеллекта. Возможность использовать всеобъемлющий каталог фундаментальных моделей Hugging Face означает, что пользователи могут выбирать модели, наилучшим образом соответствующие их деловым потребностям, не прилагая усилий на их обучение. Эта интеграция является значительным шагом вперед в обеспечении доступности фундаментальных моделей для предприятий по всему миру.

Если вас интересует использование конечных точек Hugging Face Inference для вашей компании, пожалуйста, свяжитесь с нами здесь – наша команда свяжется с вами, чтобы обсудить ваши требования!