Генеративное искусственное интеллект и мультимодальные агенты в AWS ключ к открытию новой ценности на финансовых рынках

Генеративный ИИ и мультимодальные агенты в AWS - ключ к новой ценности на финансовых рынках.

Мульти-модальные данные являются ценным компонентом финансовой отрасли, охватывающим рыночные, экономические, клиентские, новостные и социальные медиа и данные риска. Финансовые организации создают, собирают и используют эти данные, чтобы получить представление о финансовых операциях, принимать более обоснованные решения и улучшать результаты. Однако мульти-модальные данные имеют свои сложности из-за сложности и отсутствия стандартизации в финансовых системах и форматах данных и их качестве, а также из-за фрагментарности и неструктурированности данных. Клиенты из финансовой сферы часто описывают сложности, связанные с получением финансовых инсайтов из мульти-модальных данных, что требует сложной логики извлечения и преобразования, что приводит к избыточным затратам.

Одним из способов работы с мульти-модальными данными, который становится все более популярным, является использование мульти-модальных агентов. Мульти-модальные агенты – это системы искусственного интеллекта, которые могут понимать и анализировать данные в различных модальностях, используя правильные инструменты. Они способны соединять инсайты по этим разнообразным типам данных, чтобы получить более полное представление и генерировать соответствующие ответы. Мульти-модальные агенты, в сочетании с генеративным искусственным интеллектом, находят широкое применение на финансовых рынках. Вот несколько популярных примеров использования:

• Умная отчетность и рыночный анализ – ИИ может анализировать различные источники финансовой информации для создания отчетов о рынке, помогая аналитикам, инвесторам и компаниям быть в курсе трендов. Мульти-модальные агенты могут быстро подводить итоги длинных финансовых отчетов, экономя время и усилия аналитиков.
• Квантитативное моделирование и прогнозирование – Генеративные модели могут синтезировать большие объемы финансовых данных для обучения моделей машинного обучения (ML) для прогнозирования цен акций, оптимизации портфеля, моделирования рисков и т. д. Мульти-модальные модели, которые понимают различные источники данных, могут предоставить более надежные прогнозы.
• Соблюдение нормативных требований и выявление мошенничества – Это решение может быть расширено, включая инструменты мониторинга, которые анализируют каналы коммуникации, такие как звонки, электронные письма, чаты, журналы доступа и т. д., чтобы выявить потенциальные случаи внутренней торговли или манипулирования рынком. Обнаружение мошеннического сговора на основе разных типов данных требует мульти-модального анализа.

Мульти-модальный агент с генеративным ИИ увеличивает производительность финансового аналитика, автоматизируя повторяющиеся и рутинные задачи и освобождая время аналитиков для выполнения более ценных работ. Мульти-модальные агенты могут расширить возможности аналитика в получении инсайтов, помогая в исследованиях и анализе. Мульти-модальные агенты также могут создавать улучшенный квантитативный анализ и финансовые модели, позволяя аналитикам работать быстрее и с большей точностью.

Реализация мульти-модального агента с использованием AWS объединяет ключевые инсайты из разнообразных структурированных и неструктурированных данных в большом масштабе. Мульти-модальные агенты могут легко объединять возможности генеративного ИИ от Amazon Bedrock и Amazon SageMaker JumpStart с возможностями обработки данных от AWS Analytics и AI/ML сервисов, чтобы предоставлять гибкие решения, позволяющие финансовым аналитикам эффективно анализировать и получать инсайты из мульти-модальных данных в безопасной и масштабируемой среде AWS. Amazon предлагает набор AI-сервисов, позволяющих обрабатывать естественный язык (NLP), распознавать речь, извлекать текст и выполнять поиск:

• Исследование расшифровывает удивительный подход, который используют мыши в процессе обучения
• Понимание настройки LLM Fine-Tuning Подгонка больших языковых моделей под ваши уникальные требования
• DevSecOps Интеграция безопасности в ваш рабочий процесс DevOps

• Amazon Comprehend – это сервис NLP, который может анализировать текст на предмет ключевых фраз и анализировать настроение
• Amazon Textract – интеллектуальный сервис обработки документов, который может точно извлекать текст и данные из документов
• Amazon Transcribe – автоматический сервис распознавания речи, который может преобразовывать речь в текст
• Amazon Kendra – корпоративный сервис поиска, основанный на ML, для поиска информации в различных источниках данных, включая документы и базы знаний

В этой статье мы демонстрируем сценарий, в котором финансовый аналитик взаимодействует с мульти-модальными данными организации, хранящимися в специальных хранилищах данных, для получения финансовых инсайтов. В этом взаимодействии мы показываем, как мульти-модальные агенты планируют и выполняют запросы пользователей и извлекают результаты из соответствующих источников данных. Все это достигается с использованием сервисов AWS, что увеличивает эффективность финансового аналитика в анализе мульти-модальных финансовых данных (текст, речь и табличные данные) в целостности.

На следующем скриншоте показан пример пользовательского интерфейса.

Обзор решения

Следующая диаграмма иллюстрирует концептуальную архитектуру использования генеративного искусственного интеллекта с многомодальными данными с использованием агентов. Шаги, которые включены в процесс, следующие:

1. Финансовый аналитик задает вопросы через такие платформы, как чат-боты.
2. Платформа использует фреймворк для определения наиболее подходящего инструмента с многомодальными возможностями для ответа на вопрос.
3. После определения платформа запускает код, связанный с ранее определенным инструментом.
4. Инструмент генерирует анализ финансовых данных, запрошенный финансовым аналитиком.
5. При подведении итогов большие языковые модели извлекают и сообщают результаты финансовому аналитику.

Техническая архитектура

Многомодальный агент управляет различными инструментами на основе естественных языковых подсказок от бизнес-пользователей для генерации идей. Для неструктурированных данных агент использует функции AWS Lambda с использованием таких искусственных интеллект-сервисов, как Amazon Textract для анализа документов, Amazon Transcribe для распознавания речи, Amazon Comprehend для обработки естественного языка и Amazon Kendra для интеллектуального поиска. Для структурированных данных агент использует SQL Connector и SQLAlchemy для анализа баз данных, включая Amazon Athena. Агент также использует Python в Lambda и SDK Amazon SageMaker для вычислений и количественного моделирования. Агент также имеет долгосрочную память для сохранения подсказок и результатов в Amazon DynamoDB. Многомодальный агент находится в блокноте SageMaker и координирует работу этих инструментов на основе английских подсказок от бизнес-пользователей в пользовательском интерфейсе Streamlit.

Основные компоненты технической архитектуры следующие:

• Хранение и анализ данных – Квартальные финансовые отчеты в виде аудиофайлов, ежегодные финансовые отчеты в виде PDF-файлов и данные о акциях S&P в виде CSV-файлов хранятся в Amazon Simple Storage Service (Amazon S3). Исследование данных по акциям выполняется с помощью Athena.
• Большие языковые модели – Большие языковые модели (LLM) доступны через Amazon Bedrock, SageMaker JumpStart или API.
• Агенты – Мы используем агенты LangChain для непредопределенной цепочки вызовов в качестве ввода пользователя для LLM и других инструментов. В таких цепочках есть агент, который имеет доступ к набору инструментов. Каждый инструмент предназначен для выполнения определенной задачи. В зависимости от ввода пользователя агент выбирает инструмент или комбинацию инструментов для ответа на вопрос. Мы создали следующие инструменты, специально предназначенные для нашего сценария:
  • Инструмент запроса акций – Для запроса данных о акциях S&P с использованием Athena и SQLAlchemy.
  • Инструмент оптимизации портфеля – Для создания портфеля на основе выбранных акций.
  • Инструмент поиска финансовой информации – Для поиска информации о финансовых доходах, хранящейся в многостраничных PDF-файлах с использованием Amazon Kendra.
  • Инструмент вычисления с использованием Python – Для математических расчетов.
  • Инструмент анализа настроений – Для идентификации и оценки настроений по теме с использованием Amazon Comprehend.
  • Инструмент обнаружения ключевых фраз – Для поиска ключевых фраз в последних квартальных отчетах с использованием Amazon Comprehend.
  • Инструмент извлечения текста – Для преобразования PDF-версий квартальных отчетов в текстовые файлы с использованием Amazon Textract.
  • Инструмент транскрибации аудио – Для преобразования аудиозаписей в текстовые файлы с использованием Amazon Transcribe.

Память агента, которая сохраняет цепочку взаимодействий пользователя с агентом, сохраняется в DynamoDB.

В следующих разделах объясняются некоторые из основных шагов с соответствующим кодом. Чтобы углубиться в решение и код для всех показанных здесь шагов, обратитесь к репозиторию на GitHub.

Предварительные требования

Для выполнения этого решения вам необходимо иметь ключ API для LLM, такого как Anthropic Claude v2, или доступ к базовым моделям Amazon Bedrock.

Для генерации ответов на основе структурированных и неструктурированных данных с использованием LLMs и LangChain вам необходим доступ к LLMs через Amazon Bedrock, SageMaker JumpStart или ключи API, а также использование баз данных, совместимых с SQLAlchemy. Требуются также политики управления доступом и идентификации AWS (IAM), подробности которых вы можете найти в репозитории GitHub.

Основные компоненты мультимодального агента

В мультимодальном агенте есть несколько ключевых компонентов:

• Функции, определенные для инструментов мультимодального агента
• Инструменты, определенные для мультимодального агента
• Долговременная память для мультимодального агента
• Планировщик-исполнитель мультимодального агента (определенный с помощью инструментов, LLMs и памяти)

В этом разделе мы иллюстрируем ключевые компоненты с соответствующими фрагментами кода.

Функции, определенные для инструментов мультимодального агента

Мультимодальному агенту необходимо использовать различные сервисы искусственного интеллекта для обработки различных типов данных – текста, речи, изображений и т. д. Некоторые из этих функций могут требовать вызова сервисов искусственного интеллекта AWS, таких как Amazon Comprehend для анализа текста, Amazon Textract для анализа изображений и документов, а также Amazon Transcribe для преобразования речи в текст. Эти функции могут быть вызваны локально внутри агента или развернуты в виде функций Lambda, которые агент может вызывать. Функции Lambda внутренне вызывают соответствующие сервисы искусственного интеллекта AWS и возвращают результаты агенту. Такой подход модульзирует логику и делает агент более поддерживаемым и расширяемым.

Следующая функция определяет, как рассчитать оптимальный портфель на основе выбранных акций. Один из способов преобразования функции на основе Python в инструмент LLM – использовать оболочку BaseTool.

class OptimizePortfolio(BaseTool):

name = "Инструмент оптимизации портфеля"
description = """
используйте этот инструмент, когда вам нужно построить оптимальный портфель или выполнить оптимизацию цены акций.
stock_ls должен быть списком символов акций, например, ['WWW', 'AAA', 'GGGG'].
"""

def _run(self, stock_ls: List):

session = boto3.Session(region_name=region_name)
athena_client = session.client('athena')

database=database_name
table=table_Name
...

Следующий код представляет собой вызов сервиса искусственного интеллекта AWS (Amazon Comprehend, Amazon Textract, Amazon Transcribe) через Lambda:

def SentimentAnalysis(inputString):
print(inputString)
lambda_client = boto3.client('lambda')
lambda_payload = {"inputString:"+inputString}
response=lambda_client.invoke(FunctionName='FSI-SentimentDetecttion',
InvocationType='RequestResponse',
Payload=json.dumps(inputString))
print(response['Payload'].read())
return response

Инструменты, определенные для мультимодального агента

Мультимодальный агент имеет доступ к различным инструментам, которые обеспечивают его функциональность. Он может запрашивать базу данных акций для ответа на вопросы о акциях. Он может оптимизировать портфель с помощью специального инструмента. Он может извлекать информацию из Amazon Kendra, корпоративной поисковой службы Amazon. Инструмент Python REPL позволяет агенту выполнять код на Python. Пример структуры инструментов, включая их названия и описания, показан в следующем коде. Фактический набор инструментов в этом посте включает в себя восемь инструментов: инструмент запроса акций, инструмент оптимизации портфеля, инструмент поиска финансовой информации, инструмент расчета на Python, инструмент анализа настроений, инструмент обнаружения фраз, инструмент извлечения текста и инструмент транскрибирования аудио.

tools = [
Tool(
name="Инструмент поиска финансовой информации",
func=run_chain,
description="""
Полезно, когда вам нужно найти финансовую информацию с использованием Kendra.
"""
),
Tool(
name="Инструмент анализа настроений",
func=SentimentAnalysis,
description="""
Полезно, когда вам нужно проанализировать настроение по теме.
"""
),
Tool(
name="Инструмент обнаружения фраз",
func=DetectKeyPhrases,
description="""
Полезно, когда вам нужно обнаружить ключевые фразы в последних квартальных отчетах.
"""
),
...
]

Долговременная память для мультимодального агента

Следующий код иллюстрирует конфигурацию долговременной памяти для мультимодального агента. В этом коде в качестве памяти для хранения запросов и ответов для последующего использования добавляется таблица DynamoDB.

chat_history_table = dynamodb_table_name

chat_history_memory = DynamoDBChatMessageHistory(table_name=chat_history_table, session_id=chat_session_id)
memory = ConversationBufferMemory(memory_key="chat_history",
chat_memory=chat_history_memory, return_messages=True)

Многофункциональный агент на основе планировщика-исполнителя

Архитектура многофункционального агента на основе планировщика-исполнителя имеет две основные компоненты: планировщик и исполнитель. Планировщик генерирует план высокого уровня с шагами, необходимыми для запуска и ответа на вопрос. Затем исполнитель выполняет этот план, генерируя соответствующие системные ответы для каждого шага плана с использованием языковой модели и необходимых инструментов. См. следующий код:

llm = ChatAnthropic(temperature=0, anthropic_api_key=ANTHROPIC_API_KEY, max_tokens_to_sample = 512)
model = llm

planner = load_chat_planner(model)

system_message_prompt = SystemMessagePromptTemplate.from_template(combo_template)
human_message_prompt = planner.llm_chain.prompt.messages[1]
planner.llm_chain.prompt = ChatPromptTemplate.from_messages([system_message_prompt, human_message_prompt])

executor = load_agent_executor(model, tools, verbose=True)
agent = PlanAndExecute(planner=planner, executor=executor, verbose=True, max_iterations=2)

Примеры сценариев на основе вопросов, заданных финансовым аналитиком

В этом разделе мы рассмотрим два примера сценариев, чтобы проиллюстрировать всеэтапные действия, выполняемые многофункциональным агентом на основе вопросов, заданных финансовым аналитиком.

Сценарий 1: Вопросы финансового аналитика, связанные со структурированными данными

В этом сценарии финансовый аналитик задает вопрос на английском языке, связанный со акциями компаний, многофункциональному агенту. Многофункциональный агент LangChain разрабатывает многошаговый план и решает, какие инструменты использовать для каждого шага. Ниже приведена иллюстрация примерного рабочего процесса с следующими шагами:

1. Финансовый аналитик задает финансовый вопрос на английском языке через пользовательский интерфейс многофункциональному агенту.
2. Агент определяет, что ему требуется инструмент базы данных, чтобы ответить на вопрос. Он генерирует SQL-запрос с использованием LLM на основе вопроса и запрашивает базу данных Athena.
3. Athena запускает SQL-запрос, извлекает соответствующий результат (временной ряд цен на акции пяти компаний) и передает результат с соответствующими данными агенту.
4. Агент определяет, что ему требуется второй инструмент для ответа на вопрос. Он передает полученные данные в инструмент на языке Python для оптимизации портфеля.
5. Инструмент на языке Python вычисляет необходимый оптимальный портфель, включая веса, и передает ответ LLM внутри агента.
6. Агент собирает необходимую информацию и расчеты с использованием LLM и отвечает финансовому аналитику через пользовательский интерфейс на английском языке.

Финансовый аналитик задает следующий вопрос:

“Какие были цены закрытия акций AAAA, WWW, DDD в 2018 году? Можете ли вы построить оптимизированный портфель, используя эти три акции?”

Ниже приведен код, показывающий шаги, определенные планировщиком многофункционального агента:

steps=[Step(value='Используйте инструмент запроса акций, чтобы найти закрытые цены акций AAAA, WWW и DDD в 2018 году.'),
Step(value='Используйте инструмент оптимизации портфеля, чтобы построить оптимизированный портфель, используя три акции.'),
Step(value='Предоставьте закрытые цены на акции и оптимальное распределение портфеля.')]

Агент перевел вопрос-указание в следующий SQL-запрос:

SELECT date, aaaa, www, ddd
FROM "blog-stock-prices-db"."stock_prices"
WHERE date BETWEEN '2018-01-01' AND '2018-12-31'
ORDER BY date DESC

Ниже приведен код, показывающий окончательный ответ многофункционального агента на основе вопроса:

Цены закрытия акций AAAA, WWW и DDD в 2018 году:

AAAA: $172.44
WWW: $85.91
DDD: $9.82

Оптимальное распределение портфеля для акций AAAA, WWW и DDD составляет:

AAAA: 55%
WWW: 45%
DDD: 0%'

Сценарий 2: Вопросы финансового аналитика, связанные с неструктурированными данными

В этом сценарии финансовый аналитик задает несколько вопросов о финансовом состоянии компании многофункциональному агенту. Агент вызывает два инструмента: Amazon Kendra с неструктурированными данными и инструмент вычислений на языке Python, чтобы собрать информацию и выполнить необходимые расчеты. Затем агент собирает информацию из инструментов, используя свою языковую модель, и предоставляет полный ответ аналитику. Главной особенностью этого сценария является то, что агент может запоминать вопросы и ответы на предыдущие вопросы и включать контекст в разговор. Ниже приведена иллюстрация рабочего процесса, состоящего из следующих шагов:

1. Финансовый аналитик задает финансовый вопрос на английском языке через пользовательский интерфейс мультимодального агента.
2. Агент определяет, что для ответа на вопрос требуется инструмент Amazon Kendra и вызывает инструмент агента Amazon Kendra.
3. Amazon Kendra осуществляет поиск в корпусе неструктурированных данных в Amazon S3 и извлекает соответствующий документ, содержащий ответ.
4. С помощью Retrieval Augmented Generation (RAG) Amazon Kendra передает ответ из соответствующего документа в LLM внутри агента.
5. Агент определяет, что для ответа на вторую часть вопроса требуется второй инструмент. Он передает информацию из первого инструмента в инструмент Python compute.
6. Инструмент Python вычисляет необходимое отношение и передает ответ в LLM внутри агента.
7. Агент собирает необходимую информацию и вычисления с использованием LLM и отвечает финансовому аналитику через пользовательский интерфейс.

Ниже приведены вопросы и ответы между аналитиком и мультимодальным агентом.

Агент отвечает на вопрос «Какова чистая убыток Amazon за финансовый год, заканчивающийся в декабре 2022 года?» с ответом «Amazon сообщила об общих чистых продажах в размере 514,0 миллиарда долларов и чистом убытке в размере 2,7 миллиарда долларов за финансовый год 2022 года». Источником является доклад Amazon 10K за финансовый год, заканчивающийся в декабре 2022 года, полученный с помощью инструмента Retrive_Kendra.

На вопрос «Каков чистый убыток за тот же год?» агент отвечает «2,7 миллиарда долларов». Источником является доклад Amazon 10K за финансовый год, заканчивающийся в декабре 2022 года, полученный с помощью инструмента Retrive_Kendra. Обратите внимание, что, несмотря на то, что вопрос похож на второй вопрос, в этом вопросе не указано название компании или номер года. Однако агент смог использовать правильное название компании и год на основе контекста в памяти разговора.

На вопрос «Какова формула для коэффициента чистой прибыли, который является типом коэффициента рентабельности?» агент отвечает «Amazon сообщила об общих чистых продажах в размере 514,0 миллиарда долларов и чистом убытке в размере 2,7 миллиарда долларов за финансовый год 2022 года. Коэффициент чистой прибыли для Amazon за финансовый год 2022 года составляет -0,5%». Источником является Retrieve_Kendra и PythonREPLTool().

Погружение в решение

Чтобы углубиться в решение и код, показанный в этом посте, ознакомьтесь с репозиторием на GitHub.

В репозитории на GitHub вы сможете найти Python-ноутбук с полным решением, шаблон AWS CloudFormation для создания инфраструктуры, неструктурированные данные (файлы отчетов о прибылях в формате PDF, аудиофайлы телефонных конференций) и структурированные данные (временные ряды акций).

В приложении в конце приведены различные вопросы, заданные финансовым аналитиком, вызванные инструменты агента и ответ от мультимодального агента, сведенные в таблицу.

Очистка

После запуска мультимодального агента убедитесь в очистке всех ресурсов, которые не будут использоваться. Остановите и удалите использованные базы данных (Athena). Кроме того, удалите данные в Amazon S3 и остановите любые экземпляры блокнотов SageMaker Studio, чтобы не возникало дополнительных затрат. Удалите функции Lambda и таблицы DynamoDB, не используемые в рамках долгосрочной памяти. Если вы использовали SageMaker JumpStart для развертывания LLM как конечной точки SageMaker в реальном времени, удалите конечную точку через консоль SageMaker или SageMaker Studio.

Заключение

В этом посте продемонстрированы широкий спектр хранилищ AWS, сервисы искусственного интеллекта/машинного обучения и вычислительные службы, которые можно использовать для создания передового мультимодального ИИ-решения вместе с фреймворком LangChain и генеративным ИИ. Интеграция технологий NLP, распознавания речи и ML позволяет разработанному в этом сценарии мультимодальному агенту анализировать разнообразные модальности финансовых данных (структурированные и неструктурированные) и отвечать на запросы на естественном языке (на английском). Это повышает производительность и эффективность финансовых аналитиков, позволяя им сосредоточиться на высокоэффективной стратегической работе. Мультимодальные ИИ-решения, работающие на платформе AWS, имеют потенциал трансформировать финансовые рынки путем автоматизации повторяющихся задач, улучшения возможностей человека и эффективного генерирования данных. Для структурированных данных можно использовать современную архитектуру данных с несколькими базами данных, а также генеративный ИИ и LLM. Дополнительные сведения см. в статье «Переосмысление опыта работы с данными: использование генеративного ИИ и современной архитектуры данных для получения полезной информации». Кроме того, см. документацию по Amazon Bedrock для примеров использования генеративного ИИ, базовых моделей и больших языковых моделей.

Приложение

В следующей таблице приведены примеры вопросов финансового аналитика для задания мультимодальному агенту на основе структурированных и неструктурированных данных.