«Amazon запускает Bedrock оценку модели искусственного интеллекта с помощью проверки на человеческих стандартах»

«Amazon запускает оценку модели искусственного интеллекта Bedrock, основанную на человеческих стандартах»

В рамках нового развития, Amazon Bedrock представляет возможность оценки, сравнения и выбора оптимальных моделей основы (ФМ) подходящих именно для ваших потребностей. Функция Оценка моделей, сейчас в режиме предварительного просмотра, предоставляет разработчикам широкий спектр инструментов для оценки, включая как автоматические, так и человеческие сравнения.

Сила оценки моделей

Оценка моделей играет ключевую роль на каждом этапе разработки. Разработчики могут использовать функцию Оценки моделей для создания генеративных искусственного интеллекта (ИИ) приложений с безпрецедентной легкостью. Это включает экспериментирование с различными моделями в среде платформы, упрощение итеративного процесса с помощью автоматических оценок и обеспечение качества через человеческие рецензии на этапе запуска.

Простая автоматическая оценка моделей

С помощью автоматической оценки моделей, разработчики могут без проблем включать свои собственные данные или использовать отобранные наборы данных и предопределенные метрики, такие как точность, надежность и токсичность. Эта функция устраняет сложности связанные с проектированием и выполнением индивидуальных бенчмарков для оценки моделей. Простота оценки моделей для конкретных задач, таких как краткое изложение контента, ответы на вопросы, классификация текста и генерация текста, является новым значимым шагом в повышении эффективности для разработчиков.

Оценка моделей человеком для специальных метрик

Amazon Bedrock также предлагает интуитивный рабочий процесс оценки моделей человеком для субъективных метрик, таких как дружелюбность и стиль. Разработчики легко определяют метрики и используют собственные наборы данных всего за несколько кликов. Гибкость распространяется на выбор использования внутренних команд в качестве рецензентов или выбора команды, управляемой AWS. Этот упрощенный подход исключает сложные усилия, обычно связанные с построением и управлением процессом оценки моделей с человеческим участием.

Важные детали, которые следует учесть

В рамках предварительного просмотра, Amazon Bedrock позволяет оценивать и сравнивать модели на основе текста, большие языковые модели (LLM). Разработчики могут выбрать одну модель для каждой автоматической оценки и до двух моделей для каждой оценки с участием людей с привлечением своих собственных команд. Кроме того, для оценки с участием команды, управляемой AWS, можно указать требования к пользовательскому проекту.

Ценообразование является важным фактором для учета, и в рамках предварительного просмотра, AWS взимает плату только за вывод модели, не взимая дополнительных сборов за человеческие или автоматические оценки. Полная информация по ценообразованию Amazon Bedrock доступна для ясности в отношении связанных затрат.

Наше принципиальное мнение

Функция Оценки моделей Amazon Bedrock дает разработчикам возможность принимать решения при выборе моделей основы, что является значимым прорывом. Возможности автоматической и человеческой оценки, упрощенные рабочие процессы и прозрачное ценообразование ознаменовывают новую эру в развитии ИИ. Углубляясь в этап предварительного просмотра, отрасль прогнозирует трансформационный эффект на ландшафт искусственного интеллекта. Разработчики, готовьтесь – будущее выбора моделей здесь.