Платформа корпоративного искусственного интеллекта с Amazon Bedrock.

Amazon Bedrock Platform of Corporate Artificial Intelligence

Что такое платформа Enterprise GEN-AI?

Выход ChatGPT от OpenAI показал многим компаниям огромный потенциал больших языковых моделей и мощь ГЕНЕРАТИВНОГО ИИ. В результате компании всех размеров в разных отраслях, таких как розница, путешествия, здравоохранение и финансы, спешат принять ГЕНЕРАТИВНЫЙ ИИ, чтобы повысить производительность и способствовать инновациям для достижения лучших результатов и ценностей для клиентов.

Организации имеют несколько вариантов использования этих мощных возможностей ИИ в своей экосистеме путем разработки и создания надежной и масштабируемой платформы Gen AI. Они могут создать личную инфраструктуру для работы с открытыми моделями, настраивая их с использованием специфических для предметной области данных своего бизнеса. Или они могут использовать API поставщиков для доступа к закрытым моделям, размещенным во внешних источниках. Возможности ГЕНЕРАТИВНОГО ИИ для решения реальных бизнес-задач и перехода от прототипов к полномасштабным реализациям, приносящим осязаемую выгоду, являются бесконечными. Компании борются за то, чтобы воспользоваться этой технологией и превратить первоначальное возбуждение в конкретные преимущества.

Однако не все стратегии подходят для всех организаций на всех уровнях. Единый подход не всегда отвечает требованиям конфиденциальности или соответствия некоторых бизнесов. Кроме того, в сильно регулируемых отраслях, таких как финансы и здравоохранение, часто существуют дополнительные требования по соответствию и регулированию, которые не всегда удовлетворяют все платформы искусственного интеллекта. Несмотря на эти сложности, есть ключевые аспекты, которые лидеры в области ИИ в различных отраслях постоянно ищут в своих платформах для ГЕНЕРАТИВНОГО ИИ:

  • Упрощение разработки приложений ГЕНЕРАТИВНОГО ИИ, обеспечивая их быстроту и удобство использования, приоритетно уделяя внимание мощным мерам безопасности и конфиденциальности данных с реализованными контролем доступа и обменом. Надежная защита данных и возможности управления ими в платформе ИИ обеспечивают защиту конфиденциальной информации и соответствие требованиям конфиденциальности.
  • Акцентирование на использовании самой эффективной и экономичной инфраструктуры для ГЕНЕРАТИВНОГО ИИ, позволяющей организациям экономить на обучении или настройке моделей. Такой подход обеспечивает масштабируемую inferentность, поддерживающую различные бизнес-кейсы. Кроме того, платформа должна предоставлять возможности интеграции с существующей инфраструктурой компании и данными, что максимизирует ценности.
  • Предоставление приложений ГЕНЕРАТИВНОГО ИИ на уровне предприятия для революции рабочих процессов и повышения общей операционной эффективности.
  • Использование данных как отличительного фактора, настраивая Foundation Models (FM), чтобы они становились экспертами, адаптированными к уникальным аспектам бизнеса, его данных и операций.
  • Получение регуляторных сертификаций, таких как соответствие FINRA или HIPAA, чтобы гарантировать, что инфраструктура или платформа не имеет утечек данных и эффективно справляется с различными регуляторными требованиями.
  • Прозрачные возможности искусственного интеллекта, чтобы компании понимали, как работает технология. Возможность объяснения создает доверие.
  • Надежная фильтрация контента для предотвращения создания неподходящего или предвзятого контента. Это важно для ответственного ИИ.

Подход “one-size-fits-all” имеет свои ограничения. Ведущие организации ищут платформы для ГЕНЕРАТИВНОГО ИИ, которые соответствуют их конкретным требованиям и приоритетам в области безопасности, управления данными, прозрачности и ответственного ИИ.

Зачем нам нужны Foundation Models в отличие от традиционных моделей машинного обучения?

Чтобы понять преимущества Foundation Models, полезно сравнить их с традиционными моделями машинного обучения. Модели машинного обучения обучаются на определенных данных для выполнения узких функций. В отличие от этого, Foundation Models являются моделями масштаба, обученными на разнообразных данных, что делает их адаптивными к широкому спектру прикладных задач через настройку. Широкое обучение Foundation Models позволяет им осваивать общие возможности, например понимание языка, что затем может быть специализировано для конкретных случаев использования. Это делает Foundation Models более гибкими и способными, чем узкие модели машинного обучения, обученные только для одной цели. В заключение, Foundation Models являются более универсальной основой для создания множества различных приложений искусственного интеллекта, в то время как у моделей машинного обучения ограниченный переносимость на новые задачи. Широкая применимость Foundation Models, обученных на больших и разнообразных данных, делает их превосходной отправной точкой для организаций, стремящихся использовать ИИ в различных сферах деятельности.

Генеративный ИИ, работающий на Foundation Models, имеет широкий спектр применения в разных отраслях и сферах:

  • Во всех отраслях: Чат-боты и системы вопросов и ответов, краткое изложение документов
  • Финансовый сектор: Управление рисками и обнаружение мошенничества.
  • Здравоохранение: Разработка лекарств и рекомендация персонализированной медицины, помощь исследователям в выполнении огромного числа повторяющихся задач
  • Розничная торговля: Оптимизация ценообразования и управления запасами, классификация товаров и брендов, рекомендация товаров на основе недавней покупки пользователем, генерация метаданных и описаний товаров
  • Энергетика и коммунальные услуги: Предиктивное обслуживание, разработка возобновляемых источников энергии.

Кратко говоря, ключевые приложения генеративного искусственного интеллекта на основе фундаментальной модели включают разговорные агенты, системы прогнозирования для риска/мошенничества/технического обслуживания, оптимизированные и персонализированные рекомендации, творческий дизайн продуктов и технологий и многое другое. Благодаря универсальности генеративного искусственного интеллекта, компаниям из разных секторов предоставляется возможность интегрировать его возможности в различные бизнес-процессы и функции.

Как Amazon Bedrock может стать основой для платформы генеративного искусственного интеллекта предприятия

Amazon Bedrock – это новый сервис AWS, который позволяет компаниям легко использовать и настраивать модели генеративного искусственного интеллекта с помощью API. Компании теперь могут создавать и развивать приложения искусственного интеллекта без необходимости управления сложной инфраструктурой и обслуживанием, необходимыми для запуска этих моделей самостоятельно. Amazon Bedrock действует как платформа “моделей-основы в качестве сервиса”, где клиенты могут исследовать как открытые, так и проприетарные модели, чтобы найти оптимальное решение для своих потребностей. Одним из ключевых преимуществ является возможность работы без серверов, что упрощает настройку моделей-основы с использованием данных компании. Настроенные модели могут быть интегрированы и развернуты внутри собственной инфраструктуры организации с помощью других инструментов AWS. В целом, Bedrock стремится сделать использование генеративного искусственного интеллекта более доступным, устраняя преграды управления моделями и сложности инфраструктуры.

AWS Bedrock помогает организациям легче внедрять генеративный искусственный интеллект, предоставляя удобный доступ к качественным моделям основы для текста и изображений. Он предлагает как открытые, так и проприетарные модели от различных поставщиков, включая собственные модели Amazon Titan. Это позволяет предприятиям избежать необходимости проводить собственные оценки поставщиков, поскольку Amazon заботится обо всем на своей инфраструктуре. Занимаясь безопасностью, соблюдением требований и обслуживанием моделей, Bedrock устраняет ключевые преграды для принятия генеративного искусственного интеллекта компаниями. Теперь им не нужно создавать и поддерживать собственную инфраструктуру и возможности моделей. Вместо этого Bedrock позволяет им использовать мощные генеративные модели с помощью простого API, не беспокоясь о сложностях под ним.

AWS Bedrock снижает преграды для внедрения генеративного искусственного интеллекта предприятиями, как открытыми, так и коммерческими, действуя по следующим принципам:

  1. Позволяет легко настраивать существующие открытые исходные или закрытые модели основы, используя только несколько размеченных примеров в Amazon S3, без большого объема аннотации данных или построения конвейера обработки данных. Это упрощает индивидуализацию и ускоряет разработку новых приложений, основанных на генеративном искусственном интеллекте.
  2. Предоставляет обслуживаемую без серверов, масштабируемую, надежную и безопасную услугу, где клиенты сохраняют полный контроль и управление своими данными для настройки. Встроенные системы доступа к моделям позволяют администраторам контролировать использование моделей, поддерживая ответственное использование искусственного интеллекта.
  3. Интегрируется с AWS SageMaker, Lambda, EKS, ECS и другими сервисами AWS, такими как EC2, через API, чтобы разработчики могли легко создавать, масштабировать и развертывать приложения искусственного интеллекта без управления инфраструктурой или высокоуровневыми процессами развертывания LLM.

Кратко говоря, Bedrock ускоряет внедрение генеративного искусственного интеллекта путем упрощения индивидуализации, плавной интеграции с AWS и предоставления полного контроля, управления и безопасности данных и моделей предприятиям. Это снижает риск и время окупаемости при использовании возможностей генеративного искусственного интеллекта.

Путеводитель по сервису Amazon Bedrock

После входа в консоль AWS необходимо ввести Amazon Bedrock, чтобы загрузить сервис.

На данный момент, до написания этой статьи, Bedrock доступен только в нескольких регионах, и они постоянно добавляют новые регионы в список. Здесь я собираюсь выбрать US East (North Virginia).

После выбора поддерживаемого региона открывается консоль Amazon Bedrock.

Это панель инструментов Amazon Bedrock, где вы можете играть с моделью или контролировать доступ к моделям для других пользователей. Поскольку я вошел под аккаунтом пользователя-администратора, панель инструментов показывает мне все функции и элементы управления пользователя-администратора. В правой панели показаны известные вендоры LL<M или FM, такие как AI21 Amazon или Anthropic. В правой панели показаны различные площадки, где можно экспериментировать с моделью и ее поведением, вводя подсказки.

Один из важных ссылок – “Доступ к модели,” который предоставляет возможность контроля доступа к модели. Вы можете нажать на ссылку, чтобы получить доступ к галерее доступа к моделям.

Панель доступа к модели показывает все модели, которые Amazon Bedrock предоставляет от поставщиков на данный момент. Некоторые из них, такие как модели Claude от Anthropic, требуют заполнения длинной формы, если вы хотите получить к ним доступ. Остальные предельно просты. Вам нужно нажать кнопку управления доступом к модели, после чего откроется редактируемый список для контроля доступа.

После нажатия кнопки «Сохранить изменения», состояние доступа изменится на “В процессе“. Иногда вам придется ждать более часа или дня, в зависимости от типа модели, к которой вы запрашиваете доступ, и вашего типа учетной записи.

Когда AWS предоставит доступ к запрошенным вами моделям, статус изменится на “Доступ предоставлен“. Теперь вы можете использовать API, чтобы внедрить модель в свои собственные приложения.

Мы можем вернуться на исходную панель управления и нажать на ссылку “Текст”, чтобы вызвать плейграунд для генерации текста, где мы можем использовать некоторую инженерию запроса, чтобы оценить модели, выбрав поставщика и соответствующие модели из выпадающего списка. Отклик модели также может быть настроен путем изменения конфигурации, отображаемой в правой панели. Элемент “температура” определяет вывод модели. Более высокое значение температуры приводит к более творческим или динамическим откликам модели. Если значение равно нулю, тогда вы можете ожидать одинаковых статичных ответов от модели для определенного запроса или вопроса или задачи NLP.

Теперь, в плейграунде, мы будем исследовать использование того же инжиниринга текстового запроса для игры с разными моделями. Сначала мы исследуем вывод модели Jurassic от поставщика AI21 Labs. Мы вводим текст на MQTT, который является шаблоном связи, используемым в устройствах IoT, и просим модель объяснить MQTT 12-летнему человеку. Сгенерированный моделью текcт подсвечен зеленым и получен с помощью модели Jurrasic -2 Ultra с температурой 0.7

Если вы нажмете кнопку “Просмотреть запрос API” в нижней части, вы увидите API-запрос, который плейграунд-консоль отправляет модели.

Ответ от модели Command от Cohere:

Я пытался использовать модель LLama2 от Meta, но продолжаю получать ошибку. Похоже, Amazon все еще пытается стабилизироваться.

Мы исследуем модель Sytable Diffusion, которая использует текстовый запрос для генерации изображений.

API-запрос:

Стратегии интеграции в платформу GEN AI

Так как Amazon Bedrock работает как серверный компонент, интеграция с этой платформой действительно безсерверная. Основная модель становится доступной через REST API для последующего использования, и AWS предоставляет клиентское SDK Bedrock, которое может использовать любое приложение для подключения к Amazon Bedrock.

Наиболее эффективным способом интеграции платформы ИИ является использование AWS Lambda, где могут быть настроены IAM-политики для обеспечения правильного доступа к запросу модели. Рекомендуется использовать подход AWS SAM для проектирования и создания Лямбда-функции для подключения к BedRock. В последующей статье я предоставлю образец кода, демонстрирующий интеграцию Лямбда-функции с Bedrock. Если Лямбда разрабатывается на языке Python, требуется модуль boto3, который можно добавить в Код Лямбда как слой. В качестве альтернативы можно использовать SAM, чтобы упаковать boto3 при создании Лямбда-функции с использованием Python. Лямбда может быть предоставлена в AWS API Gateway, создавая абстракционный уровень.

Альтернативным способом интеграции является разработка приложения на языке Python с использованием фреймворка Langchain или LLamaIndex, его контейнеризация с использованием Docker и запуск на платформе EKS. Такой подход позволяет полностью раскрыть потенциал запуска приложений на платформе Kubernetes с высокой масштабируемостью и контролем, одновременно подключаясь к Bedrock через интерфейс SageMaker. В следующей статье я расскажу вам подробнее об этом подходе к интеграции.

Заключение

Вкратце, Amazon Bedrock предоставляет надежную и масштабируемую платформу с обеспечением безопасности и контролем RBAC через политику AWS IAM для предприятий, чтобы эффективно использовать возможности генеративного ИИ и создавать собственную платформу ИИ. Предоставляя легкий доступ к ведущим основным моделям и обрабатывая сложности инфраструктуры и обслуживания, Bedrock позволяет организациям сосредоточиться на создании значимых приложений ИИ для решения своих деловых задач. Возможность безопасно настраивать модели и интегрироваться с сервисами AWS обеспечивает соответствие нуждам предприятий в области управления, соответствия и ускоренной разработки.

Вместе с стремительной эволюцией генеративного ИИ Bedrock представляет гибкий и перспективный путь для организаций, чтобы воспользоваться этой технологией и получить реальную бизнесовую ценность. С использованием Бедрока и тщательной архитектуры предприятия можно преодолеть преграды в построении ИИ и начать реализацию потенциала генеративного интеллекта во всем процессе цифровой трансформации и предложения. В результате получится компания, в которой применение ИИ обеспечивает более высокий уровень инноваций, эффективности и конкурентоспособности.