Создание хорошо спроектированных решений по управлению личными данными с использованием пользовательской линзы – Часть 5 Оптимизация затрат

Оптимизация затрат при создании хорошо спроектированных решений по управлению личными данными с использованием пользовательской линзы - Часть 5

Построение готового к производству решения в облаке включает в себя ряд компромиссов между ресурсами, временем, ожиданиями клиентов и бизнес-результатами. AWS Well-Architected Framework помогает вам понять преимущества и риски, связанные с принимаемыми вами решениями при создании рабочих нагрузок на AWS.

Проект интеллектуальной обработки документов (IDP) обычно объединяет распознавание оптического символов (OCR) и обработку естественного языка (NLP), чтобы прочитать и понять документ, а также извлечь определенные термины или слова. IDP Well-Architected Custom Lens описывает шаги для выполнения обзора AWS Well-Architected и помогает вам оценить и выявить риски в ваших рабочих нагрузках IDP. Он также предоставляет рекомендации для решения распространенных проблем, позволяя спроектировать ваши рабочие нагрузки IDP в соответствии с лучшими практиками.

Этот пост фокусируется на столпе Оптимизации затрат в решении IDP. Оптимизированная с точки зрения затрат рабочая нагрузка полностью использует все ресурсы, достигает результата по самой низкой цене и соответствует функциональным требованиям. Мы начинаем с введения в столб Оптимизации затрат и принципы проектирования, а затем углубляемся в четыре области фокуса: финансовое управление, подача ресурсов, управление данными и мониторинг затрат. Читая этот пост, вы узнаете о столбе Оптимизации затрат в рамках Well-Architected Framework с примером использования IDP.

Принципы проектирования

Оптимизация затрат является непрерывным процессом совершенствования на протяжении жизненного цикла рабочей нагрузки. Практики, описанные в этом посте, могут помочь вам создавать и эксплуатировать рабочие нагрузки IDP, учитывающие затраты, достигая бизнес-результатов и минимизируя расходы, позволяя вашей организации максимизировать возврат от инвестиций.

Несколько принципов могут помочь вам улучшить оптимизацию затрат. Рассмотрим разные фазы проекта. Например, во время фазы планирования проекта вы должны инвестировать в навыки и инструменты финансового управления в облаке, а также согласовать интересы финансовых и технических команд, чтобы учесть и бизнес, и технические аспекты. В фазе разработки проекта мы рекомендуем принять модель потребления и динамически настраивать использование ресурсов. Когда вы готовы к производству, всегда следите за тратами и анализируйте их.

Учитывайте следующее в ходе обсуждения bewst practices:

  • Реализовать финансовое управление в облаке – Чтобы добиться финансового успеха и ускорить реализацию бизнес-ценности с вашим решением IDP, вам необходимо инвестировать в финансовое управление в облаке. Ваша организация должна выделить необходимое время и ресурсы для развития этой новой области технологий и управления использованием.
  • Развивайте партнерство между технологией и финансами – Вовлекайте финансовые и технические команды в обсуждение затрат и использования во время создания вашего решения IDP и на всех этапах вашего облачного пути. Командам следует регулярно встречаться и обсуждать такие вопросы, как организационные цели и показатели с вашим решением IDP, текущее состояние затрат и использования, а также финансовые и бухгалтерские практики.
  • Применение модели потребления и динамическая настройка – Обеспечивайте ресурсы и управляйте данными с учетом затрат, а также управляйте стадией вашего проекта и окружением с оптимизацией затрат со временем. Платите только за ресурсы, которые вы используете, и увеличивайте или уменьшайте использование в зависимости от бизнес-требований. К примеру, среды разработки и тестирования для вашего решения IDP обычно используются только в течение 8 часов в день в рабочие дни. Останавливая ресурсы сред разработки и тестирования при их неиспользовании, например вне 40-часовой рабочей недели, вы можете сократить затраты на 75% по сравнению с их непрерывной работой 168 часов в неделю.
  • Мониторинг, атрибуция и анализ затрат – Измеряйте бизнес-результаты рабочей нагрузки и связанные с доставкой затраты. Используйте эти данные для понимания полученной прибыли от увеличения производительности, функциональности и снижения затрат с вашим рабочим процессом IDP. AWS предоставляет инструменты, такие как Amazon CloudWatch, теги и AWS CloudTrail, чтобы упростить точное определение затрат и использования рабочих нагрузок, убедитесь, что вы используете ресурсы для измерения возврата инвестиций (ROI) и позволяет владельцам рабочей нагрузки оптимизировать свои ресурсы и снизить затраты.

Области фокуса

Принципы проектирования и лучшие практики столба Оптимизации затрат основаны на уничтоженных нашими клиентами и нашими сообществами технических специалистов по IDP. Используйте их в качестве руководства и поддержки для ваших решений проектирования, и согласуйте их с бизнес-требованиями вашего решения IDP. Применение IDP Well-Architected Custom Lens поможет вам проверить устойчивость и эффективность вашего решения IDP, а также предоставит рекомендации по устранению выявленных проблем.

Возможно, вы сталкивались с ситуациями, когда финансовая команда независимо проводит финансовое планирование для вашего использования облачных ресурсов, которое оказывается нарушено из-за технической сложности. Также возможно игнорировать управление ресурсами и данными при предоставлении услуг, что приводит к неожиданным затратам в счетах. В этом посте мы поможем вам ориентироваться в таких ситуациях и предоставим рекомендации по оптимизации затрат с вашим IDP решением, чтобы вам не пришлось изучать эти уроки в дорогой форме. Вот четыре области лучших практик для оптимизации затрат при использовании IDP решения в облаке: финансовое управление, предоставление ресурсов, управление данными и мониторинг затрат.

Финансовое управление

Организация команды, которая будет отвечать за оптимизацию затрат, критична для успешного принятия облачных технологий, и то же самое относится и к построению IDP решений. Ответственные команды в области технологий и финансов в вашей организации должны быть вовлечены в обсуждения затрат и использования на всех этапах создания IDP решения и во время вашего пути в облаке. Вот несколько ключевых шагов для создания специализированной команды финансового управления в облаке:

  • Определите ключевых участников – Убедитесь, что все соответствующие части вашей организации вносят свой вклад и имеют заинтересованность в управлении затратами. Важно также установить сотрудничество между финансами и технологиями. Рассмотрите следующие группы и включите членов с экспертизой в финансовой и бизнес-сфере, а также в области технологий, чтобы объединить знания для более эффективного финансового управления:
    • Финансовое руководство – Главный финансовый директор (CFO), финансовые контролеры, финансовые планировщики, бизнес-аналитики, сотрудники по закупкам и оплате счетов должны понимать модель потребления облачных ресурсов, варианты покупки и процесс ежемесячной выставки счетов. Финансы должны сотрудничать с техническими командами для создания и распространения истории о ценности информационных технологий, помогая бизнес-командам понять, как связаны затраты на технологии и бизнес-результаты.
    • Техническое руководство – Техническое руководство (включая владельцев продуктов и приложений) должно быть осведомлено о финансовых требованиях (например, ограничениях бюджета) и бизнес-требованиях (например, условиях предоставления услуг). Это позволяет реализовывать рабочую нагрузку для достижения желаемых целей организации.
  • Определите цели и показатели – Данная функция должна предоставлять ценность организации по-разному. Эти цели определены и будут постоянно развиваться вместе с развитием организации. Эта функция также должна регулярно докладывать о возможностях оптимизации затрат организации.
  • Установите регулярную программу – Группа должна регулярно собираться для рассмотрения своих целей и показателей. Обычная программа включает анализ состояния организации, всех программ или услуг, которые в настоящее время используются, и общих финансовых и оптимизационных показателей.

Предоставление ресурсов

Учитывая различные конфигурации и модели ценообразования услуг AWS в рамках IDP решений, вы должны предоставлять ресурсы исходя из ваших потребностей и постепенно корректировать предоставление с течением времени, чтобы соответствовать вашим бизнес-требованиям или стадии разработки. Кроме того, убедитесь, что вы используете бесплатные услуги, предлагаемые AWS, чтобы снизить общую стоимость. При предоставлении ресурсов для вашего IDP решения обратите внимание на следующие лучшие практики:

  • Выберите между асинхронным и синхронным выводом – Вы должны применять синхронный вывод для обработки в режиме реального времени одного документа. Выбирайте асинхронные задания для анализа больших документов или нескольких документов в одном пакете, поскольку асинхронные задания эффективнее обрабатывают большие пакеты.
  • Управление единицами вывода конечных точек Amazon Comprehend – В зависимости от ваших потребностей вы можете настроить пропускную способность конечной точки Amazon Comprehend после ее создания. Это можно сделать, обновив единицы вывода (IUs) конечной точки. Если конечная точка не активно используется в течение длительного периода времени, следует настроить политику автомасштабирования для снижения затрат. Если конечная точка больше не используется, вы можете удалить ее, чтобы избежать дополнительных затрат.
  • Управление конечными точками Amazon SageMaker – Аналогично, для организаций, которые стремятся к выбору типа вывода и управлению временем работы конечных точек, вы можете развернуть модели с открытым исходным кодом на Amazon SageMaker. SageMaker предоставляет различные варианты для вывода моделей, и вы можете удалять неиспользуемые конечные точки или настроить политику автомасштабирования для снижения затрат на конечные точки модели.

Управление данными

Данные играют ключевую роль в вашем решении по обработке и доставке идентификационных данных, начиная с первоначального введения данных, они передаются через различные этапы обработки и, в конечном итоге, возвращаются в качестве выходных данных для конечных пользователей. Важно понимать, как ваш выбор управления данными повлияет на общую стоимость решения по обработке и доставке идентификационных данных. Рассмотрите следующие bewt практики:

  • Используйте функцию “Amazon S3 Intelligent-Tiering” – класс хранения “Amazon S3 Intelligent-Tiering” разработан для оптимизации затрат на хранение в службе “Amazon Simple Storage Service” (Amazon S3), перемещая данные в наиболее экономичный класс доступа при изменении образца доступа без операционных накладных расходов и влияния на производительность. Есть два способа перемещения данных в S3 Intelligent-Tiering:
    • Прямая загрузка данных в S3 Intelligent-Tiering с указанием “INTELLIGENT_TIERING” в заголовке “x-amz-storage-class”.
    • Определение конфигураций “S3 Lifecycle” для перехода объектов из S3 Standard или S3 Standard-Infrequent Access в S3 Intelligent-Tiering.
  • Применяйте политику сохранения данных на протяжении всего рабочего процесса IDP – Используйте конфигурации “S3 Lifecycle” на ведре S3 для определения действий, которые должна выполнить служба Amazon S3 при жизненном цикле объекта, а также удаление в конце жизненного цикла объекта, в соответствии с требованиями вашего бизнеса.
  • Разделите документы на отдельные страницы для обработкиFeatureType – это параметр вызовов API анализа документа (синхронных и асинхронных) в службе “Amazon Textract”. На текущий момент он содержит следующие значения: TABLES, FORMS, QUERIES, SIGNATURES и LAYOUT. “Amazon Textract” взимает плату в зависимости от количества обработанных страниц и изображений. Не все страницы могут содержать нужную вам информацию. Разделение документов на отдельные страницы и работа только с страницами с необходимым FeatureType поможет избежать ненужной обработки, тем самым снижая общую стоимость.

На данный момент мы рассмотрели bewt практики реализации и развертывания вашего решения по обработке и доставке идентификационных данных. После развертывания и готовности вашего решения по обработке и доставке идентификационных данных в производство важно следить за затратами и контролировать их непосредственно. В следующем разделе мы рассмотрим, как лучше осуществлять мониторинг затрат с вашим решением по обработке и доставке идентификационных данных.

Мониторинг затрат

Оптимизация затрат начинается с подробного понимания распределения затрат и использования; возможности моделирования и прогнозирования будущих затрат, использования и характеристик; а также внедрения достаточных механизмов для выравнивания затрат и использования в соответствии с целями вашей организации. Для улучшения оптимизации затрат вашего решения по обработке и доставке идентификационных данных следуйте следующим bewt практикам.

Разработайте мониторинг затрат на рабочий процесс IDP на все его время существования

Определите и реализуйте метод отслеживания ресурсов и их связей с системой IDP на протяжении всего их существования. Вы можете использовать маркировку для идентификации рабочей нагрузки или функции ресурса:

  • Реализуйте систему маркировки – Реализуйте систему маркировки, которая определяет рабочую нагрузку, к которой принадлежит ресурс, и убедитесь, что все ресурсы, связанные с ней, соответствующим образом помечены. Маркировка помогает вам классифицировать ресурсы по целям, командам, среде или другим критериям, актуальным для вашего бизнеса. Для получения дополнительной информации о применении маркировки смотрите bewt практики маркировки ресурсов AWS.
    • Маркировка на уровне службы позволяет более детально мониторить и управлять затратами вашего решения. Например, при использовании Amazon Comprehend в рабочем процессе IDP вы можете использовать метки на задания анализа Amazon Comprehend, пользовательские модели классификации, пользовательские модели распознавания сущностей и конечные точки для организации ваших ресурсов Amazon Comprehend и мониторинга их затрат на основе меток.
    • Если маркировка на уровне службы не применима, вы можете отслеживать другие ресурсы для составления отчетов о распределении затрат. Например, поскольку “Amazon Textract” взимает плату за каждую страницу, вы можете отслеживать количество синхронных API-вызовов к “Amazon Textract” для подсчета стоимости (каждый синхронный API-вызов соответствует одной странице документа). Если у вас есть большие документы и вы хотите использовать асинхронные API, вы можете использовать библиотеки с открытым исходным кодом для подсчета количества страниц или использовать Amazon Athena для написания запросов и извлечения информации из ваших журналов CloudTrail для отслеживания затрат по страницам.
  • Реализуйте мониторинг пропускной способности или выходных данных рабочей нагрузки – Реализуйте мониторинг пропускной способности или предупреждений для рабочей нагрузки, инициирующихся при запросах на ввод или завершении выходных данных. Настройте его для отправки уведомлений, когда запросы на рабочую нагрузку или выходные данные снижаются до нуля, что указывает на то, что ресурсы рабочей нагрузки больше не используются. Включите фактор времени, если рабочая нагрузка периодически снижается до нуля в нормальных условиях.
  • Группируйте ресурсы AWS – Создайте группы для ресурсов AWS. Вы можете использовать группы ресурсов AWS для организации и управления вашими ресурсами Amazon Web Services в одном регионе. Вы можете добавлять теги к большинству ресурсов для идентификации и сортировки ресурсов в вашей организации. Используйте Tag Editor для добавления тегов к поддерживаемым ресурсам массово. Рассмотрите возможность использования AWS Service Catalog для создания, управления и распространения портфелей утвержденных продуктов конечным пользователям и управления жизненным цикл

    Используйте инструменты мониторинга

    AWS предлагает различные инструменты и ресурсы для мониторинга стоимости и использования вашего решения IDP (Identity Provider). Вот список инструментов AWS, которые помогают контролировать и отслеживать стоимость:

    • AWS Бюджеты – Настройте AWS Бюджеты для всех учетных записей вашей рабочей нагрузки. Установите бюджеты для всей учетной записи и бюджеты для рабочих нагрузок с использованием тегов. Настройте уведомления в AWS Бюджетах, чтобы получать предупреждения, когда вы превышаете установленные бюджеты или когда ваши ожидаемые затраты превышают бюджеты.
    • AWS Cost Explorer – Настройте AWS Cost Explorer для вашей рабочей нагрузки и учетных записей, чтобы визуализировать данные о стоимости для дальнейшего анализа. Создайте панель мониторинга для рабочей нагрузки, отслеживая общие затраты, ключевые метрики использования для рабочей нагрузки и прогнозы будущих затрат на основе исторических данных о стоимости.
    • AWS Cost Anomaly Detection – Используйте AWS Cost Anomaly Detection для ваших учетных записей, основных сервисов или созданных категорий затрат, чтобы отслеживать ваши затраты и использование и обнаруживать необычные расходы. Вы можете получать оповещения индивидуально в агрегированных отчетах и получать предупреждения по электронной почте или в теме Amazon Simple Notification Service (Amazon SNS), что позволяет анализировать и определить причину аномалии и идентифицировать фактор, который вызвал увеличение затрат.
    • Расширенные инструменты – По желанию, вы можете создать пользовательские инструменты для вашей организации, которые предоставляют дополнительные детали и гранулярность. Вы можете реализовать возможности продвинутого анализа с использованием Athena и панелей мониторинга с помощью Amazon QuickSight. Рассмотрите возможность использования Cloud Intelligence Dashboard для предварительно настроенных, продвинутых панелей мониторинга. Вы также можете сотрудничать с партнерами AWS и использовать их решения по управлению облаком для активации мониторинга и оптимизации облачного счета в одном удобном месте.

    Определение стоимости и анализ

    Процесс категоризации затрат является важным при бюджетировании, учете, финансовой отчетности, принятии решений, сравнении и управлении проектами. Классифицируя и категоризируя расходы, команды могут лучше понять типы затрат, с которыми они столкнутся в ходе использования облака, что поможет им принимать обоснованные решения и эффективно управлять бюджетами. Чтобы улучшить атрибуцию и анализ стоимости вашего решения IDP, следуйте следующим beweд practices:

    • Определите категории вашей организации – Встречайтесь с заинтересованными сторонами, чтобы определить категории, которые отражают структуру и требования вашей организации. Они прямо свяжутся со структурой существующих финансовых категорий, таких как бизнес-юнит, бюджет, центр затрат или отдел.
    • Определение функциональных категорий – Встречайтесь с заинтересованными сторонами, чтобы определить категории, которые отражают функции в вашем бизнесе. Это может быть ваша рабочая нагрузка IDP или названия приложений и тип окружения, такое как производство, тестирование или разработка.
    • Определение категорий затрат AWS – Вы можете создать категории затрат, чтобы организовать информацию о ваших затратах и использовании. Используйте категории затрат AWS, чтобы сопоставить ваши затраты и использование AWS с осмысленными категориями. С помощью категорий затрат вы можете организовать свои затраты с помощью правилного движка.

    Заключение

    В этой статье мы поделились принципами проектирования, основными аспектами и beweд practices для оптимизации затрат в вашем рабочем процессе IDP.

    Чтобы узнать больше о пользовательском объективе IDP в рамках Well-Architected, ознакомьтесь с другими статьями этой серии:

    Надежность](https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-3-reliability/) – Построение эффективных решений IDP с пользовательским объективом – Часть 4: Эффективность работы – Построение эффективных решений IDP с пользовательским объективом – Часть 5: Оптимизация затрат – Построение эффективных решений IDP с пользовательским объективом – Часть 6: Устойчивость

    AWS занимается IDP Well-Architected Lens как живым инструментом. По мере развития IDP-решений и связанных сервисов искусственного интеллекта AWS, а также появления новых услуг AWS, мы будем обновлять IDP Well-Architected Lens соответствующим образом.

    Чтобы начать работу с IDP на AWS, обратитесь к Руководству по интеллектуальной обработке документов на AWS, чтобы разработать и создать свое приложение IDP. Чтобы более детально изучить полные решения, которые охватывают захват данных, классификацию, извлечение, обогащение, проверку и валидацию, а также потребление, обратитесь к Интеллектуальная обработка документов с использованием сервисов искусственного интеллекта AWS: Часть 1 и Часть 2. Кроме того, в статье Интеллектуальная обработка документов с использованием Amazon Textract, Amazon Bedrock и LangChain рассказывается о том, как расширить новую или существующую архитектуру IDP с помощью больших языковых моделей (LLM). Вы узнаете, как можно интегрировать Amazon Textract с LangChain в качестве загрузчика документов, использовать Amazon Bedrock для извлечения данных из документов и использовать генеративные возможности искусственного интеллекта в различных фазах IDP.

    Если вам требуется дополнительное экспертное руководство, свяжитесь со своей командой учетной записи AWS, чтобы привлечь IDP Solution Architect.