Постройте хорошо архитектурированные решения для управления идентификацией и управлением доступом с использованием настраиваемой линзы – Часть 1 Операционное совершенствование

Создание эффективных решений для управления идентификацией и доступом с использованием специальной настройки линз - Часть 1 Повышение операционной эффективности

The IDP Well-Architected Lens is intended for all AWS customers who use AWS to run intelligent document processing (IDP) solutions and are searching for guidance on how to build secure, efficient, and reliable IDP solutions on AWS.

Building a production-ready solution in the cloud involves a series of trade-offs between resources, time, customer expectation, and business outcome. The AWS Well-Architected Framework helps you understand the benefits and risks of decisions you make while building workloads on AWS. By using the Framework, you will learn operational and architectural best practices for designing and operating reliable, secure, efficient, cost-effective, and sustainable workloads in the cloud.

An IDP pipeline usually combines optical character recognition (OCR) and natural language processing (NLP) to read and understand a document and extract specific terms or words. The IDP Well-Architected Custom Lens outlines the steps for an AWS Well-Architected review, which allows you to evaluate and identify technical risks within your IDP workloads. This custom lens integrates best practices and guidance to effectively navigate and overcome common challenges in the management of IDP workloads.

This post focuses on the Operational Excellence pillar of the IDP solution. Operational excellence in IDP means applying the principles of robust software development and maintaining a high-quality customer experience to the field of document processing, while consistently meeting or surpassing service level agreements (SLAs). It involves organizing teams effectively, designing IDP systems to handle workloads efficiently, operating these systems at scale, and continuously evolving them to meet customer needs.

In this post, we start with the introduction of the Operational Excellence pillar and design principles, and then deep dive into four focus areas: organizational culture, workload design, build and release optimization, and observability. By reading this post, you will learn about the Operational Excellence pillar in the Well-Architected Framework with the IDP case study.

Принципы проектирования

Для рабочих нагрузок IDP операционная эффективность проявляется в следующем:

  • Высокая точность и низкий уровень ошибок при извлечении данных из документа – Точность извлечения данных из документа является важным параметром, который минимизирует ошибки и обеспечивает надежность используемой информации для принятия решений
  • Быстрая обработка больших объемов документов с низкой задержкой – Эффективность работы с большими объемами документов позволяет организациям следовать бизнес-требованиям, снижая узкие места
  • Непрерывный контроль для быстрой диагностики и устранения проблем – Проактивный мониторинг и обслуживание помогают быстро обнаруживать и устранять любые прерывания в рабочем потоке обработки документов, поддерживая плавность процессов
  • Быстрые итерации для улучшения моделей и рабочих процессов – Реализация обратной связи, обеспечивающей постоянное совершенствование алгоритмов и процессов, позволяет системе развиваться для решения новых вызовов и соответствия стандартам эффективности
  • Оптимизация затрат, чтобы ресурсы соответствовали требованиям рабочей нагрузки – Стратегическое управление ресурсами в области IDP обеспечивает максимальную эффективность финансовых инвестиций, динамически подстраивая ресурсы в соответствии с изменяющимися потребностями обработки документов
  • Соблюдение SLA – Соблюдение или превышение стандартов и времени выполнения обязательств перед клиентами является важным для создания доверия и удовлетворенности

Эффективные стратегии проектирования должны быть согласованы с этими целями, обеспечивая не только техническую готовность IDP систем, но и их оптимизацию под реальные вызовы. Такой подход позволяет повысить операционную эффективность и превратить ее из обычной задачи в стратегическое преимущество, неотъемлемое для успеха всей организации. Основываясь на принципах проектирования рабочего раздела операционной эффективности, мы предлагаем следующие принципы проектирования для этой пользовательской линзы.

Принципы проектирования Описание
Согласование SLA IDP с общими целями рабочего процесса документа IDP обычно выполняет роль неразрывной части общего рабочего процесса документов, управляемого бизнес-командами. Поэтому важно тщательно разработать SLA для IDP в качестве подмножества общих SLA рабочего процесса документа. Такой подход гарантирует, что ожидания относительно производительности IDP будут согласованы с общими целями рабочего процесса, устанавливая четкий и последовательный стандарт скорости, точности и надежности обработки. Таким образом, предприятия могут создать целостную и эффективную систему управления документами, соответствующую стратегическим целям бизнеса и ожиданиям заинтересованных сторон, обеспечивая доверие и надежность возможностей системы.
Кодифицировать операции для повышения эффективности и воспроизводимости Выполняя операции в виде кода и внедряя автоматизированные методы развертывания, организации могут достичь масштабируемых, повторяемых и последовательных процессов. Это не только минимизирует возможность человеческой ошибки, но и обеспечивает легкую интеграцию новых источников данных и техник обработки.
Предварительно прогнозировать и планировать системные сбои Поскольку системы IDP обрабатывают огромное количество документов с различными сложностями, потенциальные проблемы могут возникнуть на любом этапе процесса обработки документов. Вы должны проводить упражнения “премортем”, чтобы предварительно определить потенциальные источники сбоев и удалить или уменьшить их. Регулярно моделируйте сценарии сбоев и проверяйте свое понимание их воздействия. Протестируйте процедуры реагирования, чтобы убедиться в их эффективности и знакомстве команд с ними. Устраивайте регулярные дни игр, чтобы протестировать нагрузку и реакцию команд на смоделированные события.
Часто вносить изменения на основе обратной связи

По мере развития вашей рабочей нагрузки по обработке документов обеспечьте адаптацию операционных стратегий в соответствии и ищите возможности для их улучшения:

  • Вносите частые, но незначительные, обратимые изменения – Проекти

    Основные направления

    Принципы дизайна и передовые практики для столпа Операционного совершенства происходят из того, что мы узнали от наших клиентов и наших экспертов IDP. Используйте их в качестве руководства при принятии дизайнерских решений, убедившись, что они хорошо соответствуют потребностям вашего бизнеса от IDP-решения. Применение Well-Architected объектива IDP также помогает проверить, что эти выборы направлены на достижение операционного совершенства, гарантируя их соответствие вашим конкретным операционным целям.

    В следующем перечислены основные направления для обеспечения операционного совершенства IDP-решения в облачной среде:

    • Организационная культура – Организационная культура имеет решающее значение для формирования реализации и управления проектами IDP. Эта культура поддерживается ясными SLA, устанавливающими четкие ожидания по времени обработки и точности, обеспечивая, что все члены команды ориентированы на общие цели. Это дополняется централизованной функцией, действующей как центр операционного совершенства, объединяющая передовые практики и направляющая проекты IDP к успеху.
    • Проектирование рабочей нагрузки – Это включает создание системы, способной гибко обрабатывать различные требования, оптимизировать качество и точность обработки документов и эффективно интегрироваться с внешними системами.
    • Оптимизация сборки и выпуска – Это направление акцентирует внимание на внедрении стандартизированных процессов DevSecOps. Цель состоит в том, чтобы оптимизировать жизненный цикл разработки и использовать автоматизацию для обеспечения плавного и быстрого развертывания обновлений или новых функций. Этот подход направлен на улучшение эффективности, безопасности и надежности разработки и развертывания системы IDP.
    • Наблюдаемость – В IDP наблюдаемость сосредоточена на комплексном мониторинге, предупреждении и регистрации событий, а также управлении лимитами службы. Это включает пристальное внимание к производительности системы, установку эффективных механизмов оповещения о возможных проблемах, ведение подробных журналов для анализа и обеспечение работы системы в рамках выделенных ресурсов.

    Организационная культура

    Для достижения операционного совершенства в IDP организации должны внедрить определенные передовые практики в свою культуру и ежедневную деятельность. Ниже представлены несколько ключевых областей, которые могут помочь организациям оптимизировать свои рабочие процессы IDP:

    • Культура и модель функционирования – Развивайте культуру, которая поддерживает стратегическое проектирование, развертывание и управление рабочими процессами IDP. Это должно стать культурным нормативом, интегрированным в модель функционирования, чтобы поддерживать гибкость и отзывчивость в обработке документов.
    • Выравнивание с бизнесом и SLA – Согласуйте инициативы IDP с бизнес-целями и SLA. Эта практика гарантирует, что обработка документов поддерживает общую бизнес-стратегию и достигает показателей производительности, ценных для заинтересованных сторон.
    • Постоянное обучение AWS – Обязательно регулярно проходите обучение и повышайте квалификацию в области услуг AWS для улучшения возможностей IDP. Находчивая команда специалистов может использовать развивающиеся функции AWS для повышения эффективности и инноваций в обработке документов.
    • Управление изменениями – Установите надежные процессы управления изменениями для навигации в динамической среде IDP. Эффективное управление изменениями поддерживает плавные переходы и помогает поддерживать бесперебойную работу IDP во время обновлений или изменений стратегии.
    • Определенные метрики для успеха IDP – Установите и отслеживайте четкие метрики для измерения успеха и воздействия операций IDP. Например: с помощью Amazon CloudWatch вы можете отслеживать количество документов, обрабатываемых через Amazon Textract. Аналогично, мониторинг объема и размера документов, загружаемых в Amazon Simple Storage Service (Amazon S3), может дать представление о том, как растет спрос на обработку. Кроме того, с помощью AWS Step Functions вы можете использовать встроенные метрики для отслеживания уровня успешной обработки задания, что дает представление о эффективности оркестрации рабочего процесса.
    • Итеративные улучшения – Способствуйте культуре обратной связи и итеративного развития для совершенствования процессов IDP. Регулярный анализ данных о производительности и обратная связь пользователей позволяют организации принимать обоснованные пошаговые улучшения системы IDP.
    • Петля обратной связи от человеческого обзора – Интегрируйте обратную связь от человеческого обзора в систему IDP. Это предоставляет ценные сведения, которые можно использовать для постоянного совершенствования точности и эффективности автоматизированных процессов.

    Проектирование

    Оптимизация сборки и выпуска

    Упрощение процессов сборки и выпуска является важным аспектом гибкости и безопасности решений для управления учетными записями пользователей (IDP). В рамках оптимизации сборки и выпуска следует обратить внимание на автоматизацию, непрерывную интеграцию и непрерывную доставку (CI/CD) и безопасность:

    • Автоматизированное развертывание – Разработайте свое решение для управления учетными записями пользователей, используя принципы инфраструктуры как код (IaC) для последовательного и повторяемого развертывания; серверная инфраструктура может быть развернута с помощью AWS Cloud Development Kit (AWS CDK) и организована с помощью визуального сервиса низкого кода, такого как AWS Step Functions.
    • Пайплайны CI/CD – Используйте инструменты, такие как AWS CodePipeline, AWS CodeBuild, AWS CodeDeploy для автоматизации процессов сборки, тестирования и выпуска компонентов и моделей управления учетными записями пользователей. Настройте автоматическое возвратное развертывание для снижения риска при развертывании, а также интегрируйте отслеживание изменений и управление для тщательной проверки перед развертыванием в продакшн.
    • Безопасность с помощью AWS KMS – Операционное совершенство не ограничивается только эффективностью; также важна безопасность. В случае использования конечных точек Amazon Comprehend, где модели находятся в зашифрованном виде при помощи управляемых клиентами ключей, особую роль играет поддержание целостности с использованием службы управления ключами AWS (AWS KMS). Используйте службу AWS Trusted Advisor, чтобы проверить риски доступа к конечным точкам и управлять разрешениями ключей AWS KMS.
    • Безшовная интеграция с различными внешними системами – Настройте пайплайны сборки и выпуска так, чтобы основное внимание уделялось безшовной интеграции с различными внешними системами. Используйте сервисы и bewthreegongstybest pramodel Artist Studioctices AWS для разработки рабочих процессов обработки документов, чтобы облегчить взаимодействие и адаптацию к различным требованиям внешних систем. Это обеспечивает последовательность и гибкость в развертывании, приоритет операционного совершенства даже в сложных сценариях интеграции.

    Наблюдаемость

    Достижение операционного совершенства в управлении учетными записями пользователей требует комплексного подхода, в котором мониторинг и наблюдаемость играют важную роль. Ниже приведены ключевые практики, обеспечивающие ясность, понимание и непрерывное улучшение в среде AWS:

    • Обширная наблюдаемость – Внедрите всестороннее решение мониторинга и наблюдаемости с использованием инструментов, таких как Amazon CloudWatch Logs для сервисов, таких как Amazon Textract и Amazon Comprehend. Такой подход предоставляет четкую операционную информацию для всех заинтересованных сторон, способствуя эффективному ведению операций, оперативной обработке событий и непрерывному улучшению.
    • Мониторинг конечных точек Amazon Comprehend и автомасштабирование – Используйте Trusted Advisor для тщательного мониторинга конечных точек Amazon Comprehend с целью оптимизации использования ресурсов. Настройте конфигурации пропускной способности или используйте AWS Application Auto Scaling для согласования ресурсов с требованиями, повышая эффективность и экономичность.
    • Стратегия мониторинга Amazon Textract – Для достижения операционного совершенства при использовании Amazon Textract следует принять комплексный подход:
      • Используйте CloudWatch для тщательного мониторинга операций Amazon Textract, извлекая информацию из ключевых показателей, таких как SuccessfulRequestCount, ThrottledCount, ResponseTime, ServerErrorCount, UserErrorCount
      • Настройте точные сигналы тревоги на основе этих показателей и интегрируйте их с Amazon Simple Notification Service (Amazon SNS) для обнаружения аномалий в реальном времени.
      • Быстро реагируйте на такие уведомления, обеспечивая оперативное устранение проблем и постоянную эффективность обработки документов. Эта стратегия сочетает в себе тщательный мониторинг и активное вмешательство, устанавливая высокий стандарт операционного совершенства.
    • Логирование вызовов API с помощью AWS CloudTrail – С помощью AWS CloudTrail можно получить видимость истории вызовов API и действий пользователей, что является важным для операционного мониторинга и быстрого реагирования на инциденты. Сервисы Amazon Textract и Amazon Comprehend интегрированы с AWS CloudTrail.

    Заключение

    В этой статье мы поделились принципами дизайна, акцентами, основами и лучшими практиками для достижения операционного превосходства в вашем IDP-решении. Приняв во внимание принципы Well-Architected Framework, описанные в этой статье, вы можете оптимизировать вашу IDP-нагрузку для достижения операционного превосходства. Сосредоточьтесь на ключевых областях, таких как IaC, инструментирование, наблюдаемость и непрерывное улучшение, что поможет вам достичь операционного превосходства и гарантировать, что ваша IDP-система предоставляет деловую ценность в соответствии с требованиями безопасности и соблюдения.

    Чтобы узнать больше о IDP Well-Architected Custom Lens, ознакомьтесь со следующими статьями из этой серии:

    Надежность](https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-3-reliability/) – Построение хорошо-архитектурных IDP-решений с помощью настраиваемых линз – Часть 4: эффективность производительностиПостроение хорошо-архитектурных IDP-решений с помощью настраиваемых линз – Часть 5: оптимизация затратПостроение хорошо-архитектурных IDP-решений с помощью настраиваемых линз – Часть 6: устойчивость

    AWS стремится развивать IDP Well-Architected Lens как живой инструмент. По мере развития IDP-решений и появления новых AWS AI-сервисов мы будем обновлять IDP Lens Well-Architected соответствующим образом.

    Если вы хотите узнать больше о AWS Well-Architected Framework, обратитесь к AWS Well-Architected.

    Если вам нужна дополнительная экспертная помощь, обратитесь к вашей команде AWS для привлечения специалиста-архитектора IDP.