Создавайте резюме записей с помощью генеративного искусственного интеллекта с использованием Amazon Bedrock и Amazon Transcribe.
Создание реалистичных записей резюме с помощью генеративного искусственного интеллекта с использованием Amazon Bedrock и Amazon Transcribe.
Заметки совещания являются важной частью сотрудничества, но часто они остаются незамеченными. Между ведением дискуссий, внимательным прослушиванием и набором заметок легко упустить ключевую информацию из виду. Даже когда заметки фиксируются, они могут быть неорганизованными или нечитаемыми, что делает их бесполезными.
В этой статье мы рассмотрим, как использовать Amazon Transcribe и Amazon Bedrock для автоматического создания чистых и кратких сводок видео- или аудиозаписей. Независимо от того, это внутреннее совещание команды, конференционная сессия или телефонный разговор о финансовых результатах, данный подход поможет вам сконденсировать часы контента до ключевых моментов.
Мы рассмотрим решение по транскрипции совещания команды проекта и подведению итогов с помощью Amazon Bedrock. Мы также обсудим, как настроить это решение для других типичных ситуаций, таких как лекции, интервью и продажи. Читайте далее, чтобы упростить и автоматизировать процесс ведения заметок.
Обзор решения
Сочетая Amazon Transcribe и Amazon Bedrock, вы можете экономить время, захватывать новые идеи и улучшать сотрудничество. Amazon Transcribe – это сервис автоматического распознавания речи (ASR), который позволяет легко добавить возможность преобразования речи в текст к приложениям. Он использует передовые технологии глубокого обучения для точной транскрипции аудио. Amazon Bedrock – это полностью управляемый сервис, предлагающий выбор высокоэффективных моделей основного уровня (FMs) от ведущих компаний по искусственному интеллекту, таких как AI21 Labs, Anthropic, Cohere, Meta, Stability AI и Amazon, с единственным API, а также широкий набор возможностей, необходимых для создания генеративных AI-приложений. С помощью Amazon Bedrock вы можете легко экспериментировать с различными топовыми моделями и настраивать их с использованием вашего собственного набора данных с помощью методов тонкой настройки (fine-tuning) и Retrieval Augmented Generation (RAG).
- Пирог с небес стартап с беспилотниками доставляет пиццу, лекарства с порцией волнения
- Познакомьтесь с Mixtral 8x7b Революционной языковой моделью от Mistral, которая превосходит GPT-3.5 в доступе к искусственному интеллекту с открытым исходным кодом.
- Топ важных статей по компьютерному зрению на неделю с 04.12 по 10.12
Представленное в статье решение оркестрируется с использованием состояний машины AWS Step Functions, которая активируется при загрузке записи в определенное хранилище Amazon Simple Storage Service (Amazon S3). Step Functions позволяет создавать безсерверные рабочие процессы для оркестрации и соединения компонентов между сервисами AWS. Он обрабатывает основную сложность, поэтому вы можете сконцентрироваться на логике приложения. Он полезен для координации задач, распределенной обработки, ETL (извлечения, преобразования и загрузки данных) и автоматизации бизнес-процессов.
Следующая диаграмма иллюстрирует общую архитектуру решения.
Рабочий процесс решения включает следующие этапы:
- Пользователь сохраняет запись в хранилище S3.
- Это действие активирует машину состояний Step Functions для выполнения транскрипции и подведения итогов.
- В рамках машины состояний активируется функция AWS Lambda, которая выполняет транскрипцию записи с помощью Amazon Transcribe и сохраняет транскрипцию в хранилище.
- Вторая функция Lambda извлекает транскрипцию и генерирует сводку с использованием модели Anthropic Claude в Amazon Bedrock.
- Наконец, последняя функция Lambda использует Amazon Simple Notification Service (Amazon SNS), чтобы отправить содержание записи получателю.
Это решение поддерживается в регионах, где Anthropic Claude на Amazon Bedrock доступен.
Машина состояний оркестрирует этапы выполнения конкретных задач. Следующая диаграмма иллюстрирует подробный процесс.
Требования
Пользователям Amazon Bedrock необходимо запросить доступ к моделям перед их использованием. Это требуется сделать только один раз. Для использования данного решения вам необходимо включить доступ к модели Anthropic Claude (а не Anthropic Claude Instant) в Amazon Bedrock. Подробнее об этом смотрите на странице Доступ к модели.
Развертывание ресурсов для решения
Решение развертывается с использованием шаблона AWS CloudFormation, который находится в репозитории GitHub, и автоматически предоставляет необходимые ресурсы в вашей учетной записи AWS. Шаблон требует следующие параметры:
- Адрес электронной почты для отправки сводки – Сводка будет отправлена на этот адрес. Вы должны подтвердить начальное электронное письмо с подтверждением от Amazon SNS, прежде чем получить дополнительные уведомления.
- Инструкции для сводки – Это инструкции, предоставленные модели Amazon Bedrock для создания сводки.
Запуск решения
После развертывания решения с помощью AWS CloudFormation выполните следующие шаги:
- Подтвердите электронное письмо с подтверждением от Amazon SNS, которое вы должны получить через несколько минут после создания стека CloudFormation.
- На консоли AWS CloudFormation перейдите к стеку, который вы только что создали.
- На вкладке Outputs стека найдите значение, связанное с
AssetBucketName; оно будет выглядеть примерно так:summary-generator-assetbucket-xxxxxxxxxxxxx. - На консоли Amazon S3 перейдите к вашему бакету с активами.
Здесь вы загрузите ваши записи. Допустимые форматы файлов: MP3, MP4, WAV, FLAC, AMR, OGG и WebM.
- Загрузите вашу запись в папку
recordings.
Загрузка записей автоматически запустит состояние машины состояний Step Functions. В этом примере мы используем образец записи командного собрания в каталоге sample-recording репозитория GitHub.
- На консоли Step Functions перейдите к состоянию машины
summary-generator. - Выберите имя запущенной машины со статусом Running.
Здесь вы можете следить за прогрессом работы машины состояний по обработке записи.
- После достижения состояния Success вы должны получить сводку записи по электронной почте.
Также вы можете перейти в бакет активов S3 и просмотреть транскрипцию в папке transcripts.
Просмотр сводки
Вы получите сводку записи на электронную почту, указанную вами при создании стека CloudFormation. Если вы не получили письмо в течение нескольких минут, убедитесь, что вы подтвердили электронное письмо с подтверждением от Amazon SNS, которое вы должны были получить после создания стека, а затем загрузите запись снова, чтобы запустить процесс сводки.
В решение включена образцовая запись командного собрания, которую можно использовать для тестирования решения. Сводка будет выглядеть примерно так. Однако из-за особенностей генеративного искусственного интеллекта ваш результат может немного отличаться, но содержание должно быть близким.
Вот основные моменты встречи:
- Джо закончил проверку текущего состояния задачи EDU1 и создал новую задачу для разработки будущего состояния. Эта новая задача находится в списке ожидания для установки приоритета. Сейчас он приступил к EDU2, но заблокирован выбором ресурса.
- Роб создал стратегию тегирования для SLG1, основанную на bewtwIDTH и практических навыках i presenta-my, но может понадобиться согласование с другими командами, которые создали свои стратегии, для согласования единого подхода. Была создана новая задача для координации стратегий тегирования.
- Роб продвинулся в отладке SLG2, но может понадобиться дополнительная помощь. Эта задача будет перенесена на Спринт 2, чтобы предоставить время для получения дополнительных ресурсов.
Следующие шаги:
- Джо продолжает работу над EDU2, пока не будет принято решение о выборе ресурса
- Создание новой задачи для координации стратегий тегирования между командами
- Перенос SLG2 на Спринт 2
- Standups переходят на понедельник начиная с следующей недели
Расширьте решение
Теперь, когда у вас есть рабочее решение, вот несколько потенциальных идей, как настроить решение для вашего конкретного применения:
- Попробуйте изменить процесс, чтобы он соответствовал доступному исходному контенту и желаемым выходным данным:
- В случаях, когда доступны транскрипции, создайте альтернативный рабочий процесс Step Functions для обработки существующих текстовых или PDF-транскрипций.
- Вместо использования Amazon SNS для уведомления получателей по электронной почте, вы можете использовать его для отправки вывода на другой конечный пункт, такой как сайт командной работы или чат-канал команды.
- Попробуйте изменить параметр резюме CloudFormation стека Amazon Bedrock, чтобы получить выводы, специфичные для вашего случая использования (это генеративное предложение искусственного интеллекта):
- При выполнении резюмирования отчетности компании, вы можете сосредоточиться на потенциально перспективных возможностях, областях проблем и вещах, которые следует продолжать наблюдать.
- Если вы используете это для резюмирования лекции курса, модель может идентифицировать предстоящие задания, резюмировать ключевые концепции, перечислять факты и отфильтровывать все ненужные беседы из записи.
- Для той же записи создайте разные резюме для разных аудиторий:
- Резюме для инженеров сосредоточится на проектных решениях, технических проблемах и предстоящих доставках.
- Резюме для проектных менеджеров будет ориентироваться на графики работы, затраты, доставки и пункты действий.
- Спонсоры проекта получат краткое обновление о статусе проекта и вопросах, требующих повышенного внимания.
- Для длинных записей попробуйте создать резюме для разных уровней интереса и временных инвестиций. Например, создайте одно предложение, один параграф, одну страницу или подробное резюме. Помимо предложения, вам может понадобиться настроить параметр
max_tokens_to_sampleдля разных длин контента.
Очистка
Чтобы очистить решение, удалите стек CloudFormation, который вы создали ранее. Обратите внимание, что удаление стека не приведет к удалению корзины ресурсов. Если вам больше не нужны записи или транскрипции, вы можете удалить эту корзину отдельно. Amazon Transcribe автоматически удалит задания транскрипции после 90 дней, но вы можете удалить их вручную до этого срока.
Заключение
В этом посте мы изучили, как использовать Amazon Transcribe и Amazon Bedrock для автоматического создания чистых и кратких резюме видео- или аудиозаписей. Мы настоятельно рекомендуем вам продолжать оценивать Amazon Bedrock, Amazon Transcribe и другие AI-сервисы AWS, такие как Amazon Textract, Amazon Translate и Amazon Rekognition, чтобы увидеть, как они могут помочь достигнуть ваших бизнес-целей.
