Mои лучшие выборы Re Invent 2023

Мои лучшие выборы на Re Invent 2023

Re: Invent 2023 была завершена. Прежде чем мы начнем подготовку к изданию 2024 года, позвольте мне кратко рассказать о самых интересных анонсах.

Вот мой любимый список, в произвольном порядке

1. Amazon Elasticache Serverless

Как архитекторы и разработчики, мы любим вести дискуссии о масштабируемости баз данных и правильном размере наших кластеров баз данных. Я знаю, что так делаю я, особенно когда речь идет о Redis, одной из моих любимых баз данных! Но с недавно объявленной безсерверной опцией для ElastiCache, нам может не приходиться делать все это.

Я знаю, печальная правда, потому что теперь вы можете настроить новый кеш за пару минут и больше не беспокоиться о выборе типа узла кеша, числе шард, числе реплик или расположении узлов по зонам доступности.

Между прочим, это применимо как к движкам Redis, так и к Memcached, поддерживаемым Elasticache.

2. Amazon EKS Pod Identity

Кто любит настраивать IRSA в EKS? Я не особый поклонник! Слава богу, что есть Amazon EKS Pod Identity, упрощающая этот процесс!

Я уже попробовал это (детальная запись в блоге скоро появится) и вы тоже должны! Вот анонс, блог AWS News и, что самое главное, документация.

3. Базы знаний в Amazon Bedrock

RAG (Retrieval Augmented Generation) – мощная техника, но для построения потоков данных, поддерживающих непрерывное внесение данных из источников в ваши векторные базы данных, требует значительных усилий. Базы знаний в Amazon Bedrock предоставляют полностью управляемый опыт работы с RAG. Вы можете выбрать Amazon OpenSearch Serverless в качестве векторной базы данных по умолчанию или выбрать из других доступных вариантов.

Я попробовал это и это намного легче, чтобы мои наборы данных были готовы к вопросам-ответам – настроить базу знаний, загрузить данные в Amazon S3, синхронизировать их и вы готовы к работе.

Посмотрите этот отличный пост в блоге и обратитесь к документации, когда будете готовы попробовать.

P.S. В ближайшее время будет больше контента, особенно о том, как вы можете использовать это в своих приложениях на Go и некоторых других интеграциях с открытым исходным кодом. Следите за новостями!

На Re: Invent было много анонсов по векторным базам данных!

4. Vector Search для Amazon MemoryDB for Redis (предварительная версия)

Теперь вы можете использовать привычные API Redis для таких задач машинного обучения и генерации ИИ, как поиск с улучшением восстановления, обнаружение аномалий, поиск документов и рекомендации в режиме реального времени. Amazon MemoryDB for Redis теперь позволяет хранить, индексировать и искать векторы. На момент написания этого текста она находится в предварительной версии, но я настоятельно рекомендую вам попробовать это. Ознакомьтесь с документацией для получения дополнительных сведений, включая поддерживаемые команды поиска вектора.

Не забудьте активировать векторный поиск при создании нового кластера Memorydb!

5. Векторный движок для Amazon Open search Serverless теперь доступен для общего пользования

Под капотом способность векторной базы данных использует поиск k-NN в OpenSearch. Как я уже упоминал, OpenSearch Serverless уже является одним из вариантов векторной базы данных в базе знаний для Amazon Bedrock. Теперь вы можете создать специализированную коллекцию на основе векторного движка. Интересно заметить, что Amazon OpenSearch поддерживает около 20 миллионов векторных вложений во время предварительного просмотра. Теперь (после релиза) это ограничение было повышено до поддержки масштаба в миллиард векторов.

Я также рекомендую ознакомиться с этой статьей в блоге, которая подробно рассказывает о возможностях векторной базы данных.

6. Векторный поиск для Amazon DocumentDB

Теперь векторный поиск встроен в DocumentDB также. Вы можете настраивать, управлять и масштабировать базы данных для приложений искусственного интеллекта и машинного обучения без отдельной инфраструктуры. Ознакомьтесь с документацией, чтобы погрузиться глубже перед созданием вашей первой векторной коллекции!

7. Агенты для Amazon Bedrock тоже готовы для использования!

Агенты в Amazon Bedrock помогают в разработке приложений GenAI, предоставляя платформу для оркестрации многошаговых задач. Инструкции, которые мы предоставляем, используются для создания плана оркестрации, который затем выполняется путем вызова API и доступа к базам знаний (с использованием RAG).

Amazon Bedrock облегчает начало работы с Агентами, предоставляя рабочий черновик существующего агента. Зайдите в консоль AWS, чтобы попробовать его, выберите кнопку Тестирование и введите пример запроса пользователя. Чтобы углубиться в детали, ознакомьтесь с документацией, включая как использовать Agents API.

8. Интеграция Amazon Dynamodb Zero-ETI с Amazon Open Search Service

Хорошо, вы любите Amazon DynamoDB и в нем у вас много данных. Как сделать его легко обязательным для поиска? Я уверен, что вы уже нашли разные способы это сделать. Но интеграция zero-ETL упрощает синхронизацию данных с Amazon DynamoDB в Amazon OpenSearch Service – не нужно создавать пользовательские конвейеры для ETL!

Ознакомьтесь с объявлением, прочитайте статью в блоге и обратитесь к документации, когда будете готовы попробовать это на практике.

9. Amazon Q – генеративный с помощью ИИ силами ассистент (предварительная версия)

Amazon Q интегрируется в такие сервисы, как Amazon CodeCatalyst и Amazon QuickSight. Он также доступен в консоли AWS и вашей IDE. Набор его возможностей создан для поддержки разработчиков и IT-специалистов – будь то помощь в выборе типа экземпляра EC2, создание следующего бессерверного приложения или обновление ваших Java-приложений!

10. AWS SDK для Rust

(последнее, но определенно не менее важное)

Хорошо, возможно, я не активно использую Rust, как раньше, но у меня по-прежнему осталось мягкое место для него. И вот почему я радостно отмечаю анонс GA для AWS SDK для Rust, что означает, что вы можете использовать его для производственной работы! Я еще не протестировал его, но когда я это сделаю, я буду использовать руководство для начинающих, чтобы освежить свою память.

AWS SDK для Rust содержит один крейт для каждого сервиса AWS – вы можете ознакомиться с ними здесь.

Это все, что я могу сказать о моих коротких (и совершенно предвзятых) топовых выборах на этот год. В этот раз я не смог попасть на re: Invent (возникла внезапная ситуация), но надеюсь увидеть вас всех в 2024 году.