Управление жизненным циклом ML в масштабе. Часть 1 Фреймворк для архитектуры рабочих нагрузок ML с использованием Amazon SageMaker

Управление жизненным циклом машинного обучения в масштабе Часть 1 - Фреймворк для ML рабочих нагрузок с использованием Amazon SageMaker

Клиенты всех размеров и отраслей инновационно используют AWS, интегрируя машинное обучение (ML) в свои продукты и услуги. Недавние разработки моделей генеративного искусственного интеллекта дополнительно ускорили необходимость принятия ML в различных отраслях. Однако внедрение систем безопасности, защиты данных и управления по-прежнему остаются ключевыми проблемами, с которыми сталкиваются клиенты при внедрении ML-нагрузки в масштабах. Решение этих задач ставит основу для снижения рисков и ответственного использования продуктов на основе ML. Хотя генеративному искусственному интеллекту могут потребоваться дополнительные контроли, такие как удаление токсичности и предотвращение взлома и галлюцинаций, он имеет те же основные элементы для обеспечения безопасности и управления, что и традиционное ML.

Мы слышим от клиентов, что для построения индивидуализированной реализации платформы ML Amazon SageMaker для обеспечения масштабируемых, надежных, безопасных и управляемых окружений ML для своих бизнес-линий (LOB) или команд ML им необходимы специализированные знания и инвестиции до 12 месяцев. Если у вас нет рамочного решения для управления жизненным циклом ML в масштабах, вы можете столкнуться с проблемами, такими как изоляция ресурсов на уровне команды, масштабирование ресурсов для экспериментов, операционализация рабочих процессов ML, масштабирование управления моделями и управление безопасностью и соответствием нагрузки ML.

Управление жизненным циклом ML в масштабах – это рамочное решение, которое поможет вам построить платформу ML с встроенными средствами безопасности и управления на основе передовых практик и корпоративных стандартов. Эта рамочная система решает проблемы, предоставляя прескриптивные руководства через модульный подход через среду мультиаккаунта AWS Control Tower и подход, описанный в статье Настройка безопасных, хорошо управляемых сред для машинного обучения на AWS.

Он предоставляет прескриптивные руководства для следующих функций платформы ML:

• Краткая история нейронных сетей
• Познакомьтесь с ScaleCrafter Разблокировка ультра-высокого разрешения синтеза изображений с предварительно обученными моделями диффузии
• Повышение рассуждения в больших языковых моделях ознакомьтесь с гипотезами-к-теориям (HtT) фреймворком для точного и передаваемого обучения на основе правил

• Основы многократного учета, безопасности и сетевых средств – Эта функция использует AWS Control Tower и принципы хорошо-созданной архитектуры для настройки и работы среды многоразового учета, безопасности и сетевых услуг.
• Основы данных и управления – Эта функция использует архитектуру среды данных для настройки и работы среды накопления данных, центрального хранилища признаков и основ управления данными, позволяющих доступ к данным с мелкой крупицей.
• Общие сервисы платформы ML и управление – Эта функция позволяет настраивать и работать с общими сервисами, такими как CI/CD, каталог услуг AWS для предоставления сред, а также центральное реестра моделей для продвижения моделей и установления выслеживаемости.
• Среды команд ML – Эта функция позволяет настраивать и работать среды для команд ML для разработки, тестирования и развертывания их применений с встроенными средствами безопасности и управления.
• Наблюдаемость платформы ML – Эта функция помогает устранять неполадки и выявлять корневые причины проблем в ML-моделях благодаря централизации журналов и предоставлению инструментов для визуализации анализа журналов. Он также предоставляет руководство по созданию отчетов о стоимости и использовании для задач ML.

Хотя эта рамочная система может принести пользу всем клиентам, она наиболее полезна для крупных, зрелых, регулируемых или междуэтажных предприятий, которые хотят развивать свои ML стратегии в контролируемом, соответствующем и координированном подходе по всей организации. Она помогает осуществить принятие ML, минимизируя риски. Данная рамочная система полезна следующим клиентам:

• Крупным предприятиям, у которых много бизнес-линий или отделов, заинтересованных в использовании ML. Эта рамочная система позволяет различным командам независимо создавать и развертывать ML-модели, предоставляя централизованное управление.
• Предприятиям с средней и высокой зрелостью в области ML. Они уже развернули некоторые первоначальные модели ML и стремятся масштабировать свои усилия в области ML. Данная рамочная система поможет ускорить принятие ML на всей организации. Эти компании также осознают необходимость управления для управления вопросами, такими как контроль доступа, использование данных, производительность моделей и несправедливое смещение.
• Компаниям в регулируемых отраслях, таких как финансовые услуги, здравоохранение, химия и частный сектор. Этим компаниям требуется строгое управление и аудит ML-моделей, используемых в их бизнес-процессах. Принятие данной рамочной системы может помочь обеспечить соответствие требованиям, позволяя при этом разрабатывать локальные модели.
• Глобальным организациям, которым необходимо сбалансировать централизованное и локальное управление. Механизм этой рамочной системы позволяет команде инженеров центральной платформы устанавливать основные политики и стандарты, но также предоставляет командам LOB гибкость в адаптации в соответствии с местными требованиями.

В первой части этой серии мы рассмотрим архитектуру для настройки платформы машинного обучения. В последующих публикациях мы предоставим рекомендательные указания по реализации различных модулей из архитектуры в вашей организации.

Возможности платформы машинного обучения объединены в четыре категории, как показано на следующей фигуре. Эти возможности являются основой рассматриваемой позднее архитектуры:

• Создание основ машинного обучения
• Масштабирование операций машинного обучения
• Отслеживание машинного обучения
• Обеспечение безопасности машинного обучения

Обзор решения

Фреймворк для управления жизненным циклом машинного обучения на большой шкале позволяет организациям внедрять контроль над безопасностью и управлением на всем протяжении жизненного цикла машинного обучения, что в свою очередь помогает организациям снижать риски и ускорять внедрение машинного обучения в свои продукты и услуги. Фреймворк помогает оптимизировать настройку и управление безопасными, масштабируемыми и надежными средами машинного обучения, которые могут масштабироваться для поддержки все большего числа моделей и проектов. Фреймворк обеспечивает следующие возможности:

• Предоставление учетных записей и инфраструктуры с учетом политики организации для развертывания инфраструктурных ресурсов
• Самостоятельное развертывание сред разработки для научно-исследовательских и операционных задач машинного обучения (MLOps) шаблонов для применения в задачах машинного обучения
• Изоляция ресурсов на уровне бизнес-юнита или команды для обеспечения безопасности и конфиденциальности
• Управляемый доступ к данных производственного качества для экспериментов и рабочих процессов, готовых к внедрению
• Управление и контроль за репозиториями кода, конвейерами разработки, развернутыми моделями и функциональными данными
• Реестр моделей и хранилище функций (локальные и центральные компоненты) для улучшения управления
• Механизмы обеспечения безопасности и контроля за процессом разработки и развертывания моделей от начала и до конца

В этом разделе мы предоставим обзор рекомендаций, чтобы помочь вам построить эту платформу машинного обучения на AWS с внедренными механизмами безопасности и управления.

Функциональная архитектура, связанная с платформой машинного обучения, показана на следующей диаграмме. Архитектура сопоставляет различные возможности платформы машинного обучения с учетными записями AWS.

Функциональная архитектура с различными возможностями реализуется с помощью ряда сервисов AWS, включая AWS Organizations, SageMaker, DevOps-сервисы AWS и озеро данных. Архитектура для платформы машинного обучения с различными сервисами AWS показана на следующей диаграмме.

Этот фреймворк учитывает несколько ролей и сервисов для управления жизненным циклом машинного обучения на большой шкале. Мы рекомендуем следующие шаги для организации вашей команды и сервисов:

1. С помощью AWS Control Tower и автоматизированных средств ваш администратор облачных ресурсов настраивает фундаменты многоаккаунтовой структуры, такие как Organizations и AWS IAM Identity Center (преемник AWS Single Sign-On), а также сервисы безопасности и управления, такие как AWS Key Management Service (AWS KMS) и Service Catalog. Кроме того, администратор настраивает различные организационные единицы (ОУ) и начальные учетные записи для поддержки рабочих процессов машинного обучения и аналитики.
2. Администраторы озера данных создают ваше озеро данных и каталог данных, и настраивают центральное хранилище функций, работая с администратором платформы машинного обучения.
3. Администратор платформы машинного обучения предоставляет общие услуги машинного обучения, такие как AWS CodeCommit, AWS CodePipeline, Amazon Elastic Container Registry (Amazon ECR), центральный реестр моделей, SageMaker Model Cards, SageMaker Model Dashboard и продукты Service Catalog для команд машинного обучения.
4. Руководитель команды машинного обучения выполняет федерацию через IAM Identity Center, использует продукты Service Catalog и предоставляет ресурсы в среде разработки команды машинного обучения.
5. Ученые-данные из команд машинного обучения различных бизнес-юнитов федерируются в среду разработки своей команды для построения конвейера моделей.
6. Ученые-данные проводят поиск и выбирают функции из центрального каталога хранилища функций для построения моделей через эксперименты, а затем выбирают лучшую модель для продвижения.
7. Ученые-данные создают и делятся новыми функциями в центральном каталоге хранилища функций для повторного использования.
8. Инженер по машинному обучению развертывает конвейер моделей в тестовую среду команды машинного обучения с помощью процесса непрерывной интеграции/непрерывной развертывания (CI/CD).
9. После проверки заинтересованными сторонами модель машинного обучения развертывается в производственную среду команды.
10. М

    Далее мы углубимся в модули справочной архитектуры для этой структуры.

    Модули справочной архитектуры

    Справочная архитектура состоит из восьми модулей, каждый из которых разработан для решения конкретного набора проблем. Вместе эти модули решают проблемы управления в различных аспектах, таких как инфраструктура, данные, модель и затраты. Каждый модуль предлагает определенный набор функций и взаимодействует с другими модулями для обеспечения интегрированной конечной платформы машинного обучения с встроенными механизмами безопасности и управления. В данном разделе мы представляем краткое описание возможностей каждого модуля.

    Мультиаккаунтные основы

    Этот модуль помогает администраторам облачных служб создавать зону посадки AWS Control Tower в качестве фундаментальной структуры. Это включает создание мультиаккаунтной структуры, аутентификацию и авторизацию через IAM Identity Center, построение сетевого дизайна структуры «центр-и-лучи», централизованные службы регистрации журналов и новые аккаунты AWS с нормативными основами безопасности и управления.

    Кроме того, в этом модуле предоставляются рекомендации по bewset применению ОР и структур аккаунтов, подходящих для поддержки рабочих процессов машинного обучения и аналитики. Администраторы облачных служб узнают цель обязательных аккаунтов и ОР, способы их развертывания и ключевые службы безопасности и соответствия, которые следует использовать для централизованного управления рабочими процессами машинного обучения и аналитики.

    Также рассматривается механизм создания новых аккаунтов, использующий автоматизацию для базирования новых аккаунтов при их размещении. Благодаря настройке автоматизированного процесса развертывания аккаунтов администраторы облачных служб могут быстрее предоставлять командам машинного обучения и аналитики необходимые аккаунты, не жертвуя крепким фундаментом для управления.

    Основы озера данных

    Этот модуль помогает администраторам озера данных настроить озеро данных для принятия данных, курирования наборов данных и использования модели безопасности AWS Lake Formation для управления мелкозернистым доступом к данным между аккаунтами и пользователями с использованием централизованного каталога данных, политик доступа к данным и управления доступом на основе тегов. Вы можете начать с небольшого одного аккаунта для основных компонентов вашей платформы данных для доказательства концепции или нескольких небольших рабочих нагрузок. Для реализации рабочих нагрузок от VOAGI до планомерной работы в масштабе предлагается принадлежность к нескольким аккаунтам. В такой среде ЛОГ могут выступать в роли поставщиков и потребителей данных, используя различные аккаунты AWS, и управление озером данных осуществляется из центрального общего аккаунта AWS. Поставщик данных собирает, обрабатывает и хранит данные из своей области данных, а также контролирует и обеспечивает качество своих информационных активов. Потребители данных потребляют данные от поставщика данных после того, как централизованный каталог делится ими с использованием Lake Formation. Централизованный каталог хранит и управляет общим каталогом данных для учетных записей поставщиков данных.

    Сервисы модельного слоя

    Этот модуль помогает команде по инженерии модельного слоя создать общие службы, которые используются командами по науке о данных в рамках их учетных записей. Среди этих служб есть портфель сервисов Service Catalog с продуктами для развертывания домена SageMaker, развертывания профиля пользователя домена SageMaker, шаблоны моделей науки о данных для создания и развертывания моделей. В этом модуле реализованы функции централизованного реестра моделей, карточек моделей, панели инструментов моделей и конвейеров CI/CD, используемых для оркестрации и автоматизации процессов разработки и развертывания моделей.

    Кроме того, в этом модуле подробно описаны контроли и управление, необходимые для обеспечения возможностей самообслуживания на основе персон, позволяющие командам по науке о данных независимо развертывать необходимую им инфраструктуру в облаке и шаблоны машинного обучения.

    Разработка задач машинного обучения

    Этот модуль помогает ЛОБ и ученым по данным получить доступ к домену SageMaker своей команды в среде разработки и создать шаблон построения модели для разработки своих моделей. В этом модуле ученые по данным работают с экземпляром шаблона учетной записи разработки, чтобы взаимодействовать с данными, доступными в централизованном озере данных, использовать и совместно использовать функции из центрального хранилища признаков, создавать и запускать эксперименты машинного обучения, строить и тестировать рабочие процессы машинного обучения и регистрировать свои модели в реестре моделей учетной записи разработки в рабочих окружениях.

    В шаблонах также реализованы возможности отслеживания экспериментов, отчетов о объяснимости моделей, мониторинга данных и моделей на предмет смещений, а также реестра моделей, что позволяет быстро адаптировать решения к разработанным учеными по данным моделям.

    Операции с задачами машинного обучения

    Этот модуль помогает бизнес-аналитикам и инженерам машинного обучения работать с экземплярами разработки шаблона развертывания моделей. После регистрации и утверждения кандидатской модели они настраивают конвейеры непрерывной интеграции и непрерывной доставки (CI/CD) и запускают рабочие процессы машинного обучения в тестовой среде команды, которая регистрирует модель в централизованном реестре моделей, работающем в учетной записи общих служб платформы. Когда модель утверждена в централизованном реестре моделей, это запускает конвейер CI/CD для развертывания модели в производственной среде команды.

    Централизованный хранилище функций

    После развертывания первых моделей в производство и когда несколько случаев использования начинают использовать функции, созданные на основе одних и тех же данных, хранилище функций становится необходимым для обеспечения сотрудничества между случаями использования и уменьшения повторной работы. Этот модуль помогает команде инженеров платформы машинного обучения настроить централизованное хранилище функций для обеспечения хранения и управления функциями машинного обучения, созданными случаями использования машинного обучения, и обеспечивает повторное использование функций в разных проектах.

    Логирование и наблюдаемость

    Этот модуль помогает бизнес-аналитикам и практикующим специалистам по машинному обучению получить представление о состоянии рабочих нагрузок машинного обучения в разных средах для машинного обучения путем централизации журналов активности, таких как CloudTrail, CloudWatch, журналы потока VPC и журналы рабочих нагрузок машинного обучения. Команды могут фильтровать, запрашивать и визуализировать журналы для анализа, что может помочь повысить уровень безопасности.

    Затраты и отчетность

    Этот модуль помогает различным заинтересованным сторонам (администратору облачных вычислений, администратору платформы, офису по вопросам бизнеса в облачной среде) генерировать отчеты и панели управления, чтобы разбить затраты на уровни пользователей машинного обучения, команд машинного обучения и продуктов машинного обучения, а также отслеживать использование, такое как количество пользователей, типы экземпляров и конечные точки.

    Наши клиенты просили нас предоставить рекомендации по количеству учетных записей для создания и организации этих учетных записей. В следующем разделе мы предоставляем рекомендации по организации структуры учетных записей в качестве справочного материала, который вы можете изменить в соответствии с вашими потребностями и требованиями вашего корпоративного управления.

    Справочная структура учетной записи

    В этом разделе мы обсуждаем наши рекомендации по организации структуры учетных записей. Мы предлагаем базовую структуру учетной записи; однако мы рекомендуем, чтобы администраторы машинного и администраторы данных тесно сотрудничали с администраторами облачных вычислений для настройки этой структуры учетных записей на основе контролей организации.

    

    Мы рекомендуем организовать учетные записи по организационным единицам (OU) для обеспечения безопасности, инфраструктуры, рабочих нагрузок и развертываний. Кроме того, внутри каждой OU организуйте неотдельно среды тестирования и производства, поскольку учетные записи и развертываемые в них рабочие нагрузки имеют различные контроли. Следующим мы кратко описываем эти OU.

    OU безопасности

    Учетные записи в этой OU управляются администратором облачных вычислений или службой безопасности организации для мониторинга, идентификации, защиты, обнаружения и реагирования на события безопасности.

    OU инфраструктуры

    Учетные записи в этой OU управляются администратором облачных вычислений или сетевой командой организации для управления ресурсами инфраструктуры на уровне предприятия и сетями.

    Мы рекомендуем иметь следующие учетные записи в OU инфраструктуры:

    • Сеть – Настройте централизованную сетевую инфраструктуру, такую как AWS Transit Gateway
    • Общие службы – Настройте централизованные службы AD и конечные точки VPC

    OU рабочих нагрузок

    Учетные записи в этой OU управляются администраторами платформы организации. Если вам требуется внедрить разные контроли для каждой команды платформы, вы можете создать дополнительные OU внутри OU передела для этой цели, например, OU рабочих нагрузок машинного обучения, OU рабочих нагрузок данных и т. д.

    Мы рекомендуем следующие учетные записи в OU рабочих нагрузок:

    • Учетные записи команды разработки, тестирования и производства ML – Настройте их в соответствии с требованиями изоляции рабочей нагрузки
    • Учетные записи озера данных – Разделите учетные записи по вашей области данных
    • Учетная запись централизованного управления данными – Централизуйте ваши политики доступа к данным
    • Учетная запись централизованного хранилища функций – Централизуйте функции для обмена между командами

    OU развертываний

    Учетные записи в этой OU управляются администраторами платформы организации для развертывания рабочих нагрузок и обеспечения наблюдаемости.

    Мы рекомендуем следующие учетные записи в OU “развертывания”, поскольку команда по платформе ML может настроить различные наборы контролов на уровне этой OU для управления и управления развертываниями:

    • Совместно используемые учетные записи ML-служб для тестирования и прода – Хостит общие службы платформы CI/CD и реестры моделей.
    • Учетные записи ML-наблюдаемости для тестирования и прода – Хостит журналы CloudWatch, журналы CloudTrail и другие необходимые журналы.

    Затем мы кратко обсудим контроли, которые должны быть учтены при встраивании в учетные записи участников для мониторинга инфраструктурных ресурсов.

    Контроли AWS-окружения

    Контроли представляют собой высокоуровневые правила, обеспечивающие постоянное управление вашим всемирным окружением AWS. Они выражаются простым языком. В этой рамке мы используем AWS Control Tower для реализации следующих контролов, которые помогут вам управлять ресурсами и следить за соответствием требованиям в рамках групп учетных записей AWS:

    • Превентивные контроли – Превентивный контроль гарантирует соблюдение политики ваших учетных записей, запрещая действия, ведущие к нарушениям правил, и реализуется с помощью политики управления службами (SCP). Например, вы можете установить превентивный контроль, который гарантирует, что CloudTrail не будет удален или остановлен в учетных записях AWS или регионах.
    • Детективные контроли – Детективный контроль обнаруживает безответственность ресурсов в ваших учетных записях, таких как нарушения политики, предоставляет предупреждения через панель управления и реализуется с использованием правил AWS Config. Например, вы можете создать детективный контроль, который определит, включен ли общий доступ на чтение к ведру log-archive shared в Amazon Simple Storage Service (Amazon S3).
    • Проактивные контроли – Проактивный контроль сканирует ваши ресурсы перед их предоставлением, удостоверяясь, что они соответствуют этому контролю, и реализуются с помощью хуков AWS CloudFormation. Ресурсы, не соответствующие контролю, не будут предоставлены. Например, вы можете установить проактивный контроль, который проверяет, что прямой доступ в Интернет не разрешен для экземпляра блокнота SageMaker.

    Взаимодействие между сервисами платформы ML, использованием ML и операциями ML

    Различные лица, такие как руководитель науки о данных (ведущий научный сотрудник данных), ученый-исследователь и ML-инженер, работают с модулями 2–6, как показано на следующей диаграмме, для различных этапов использования сервисов платформы ML, разработки применений ML и операций ML, а также фундаментов для озера данных и центрального хранилища функций.

    

    В следующей таблице суммируются действия по потоку обработки и шаги настроек развертывания для разных лиц. Как только личность инициирует действие по потоку обработки ML в рамках операц. потока, сервисы работают в соответствии с указанными шагами настроек.

    <tr

    Персоны и взаимодействие с различными модулями платформы машинного обучения

    Каждый модуль ориентирован на конкретные целевые персоны внутри определенных подразделений, которые чаще всего используют модуль, предоставляя им основной доступ. Затем вторичный доступ разрешается другим подразделениям, которым необходимо время от времени использовать модули. Модули адаптированы к потребностям конкретных рабочих ролей или персон, чтобы оптимизировать их функциональность.

    Мы обсуждаем следующие команды:

    • Центральная команда облачной инженерии – Эта команда работает на уровне корпоративного облачного уровня во всех рабочих нагрузках для настройки общих услуг облачной инфраструктуры, таких как настройка сети, идентификация, разрешения и управление учетными записями на корпоративном уровне.
    • Команда инженерии платформы данных – Эта команда управляет корпоративными хранилищами данных, сбором данных, курацией и управлением данных.
    • Команда инженерии платформы машинного обучения – Эта команда работает на уровне платформы машинного обучения в различных предприятиях, предоставляя общие службы инфраструктуры машинного обучения, такие как предоставление инфраструктуры машинного обучения, отслеживание экспериментов, управление моделями, развертывание и наблюдение.

    В следующей таблице указано, какие подразделения имеют основной и вторичный доступ для каждого модуля в соответствии с целевыми персонами модуля.

    Личность	Действия потока обработки – Номер	Действия потока обработки – Описание	Шаги настройки – Номер	Шаги настройки – Описание
    Глава науки о данных или ведущая группа по ML	1	Использует каталог услуг в учетной записи служб платформы ML и разворачивает следующие: ML-инфраструктура SageMaker проекты – SageMaker модель реестр	1-A	Настройка сред для LOB (dev, test, prod) Настройка SageMaker Studio в учетной записи служб платформы ML
    1-B	Настройка SageMaker Studio с учетом необходимой конфигурации
    Ученый-исследователь	2	Проводит и отслеживает эксперименты ML с использованием блокнотов SageMaker	2-A	Использует данные из озера Formation – Сохраняет функции в центральном хранилище функций
    3	Автоматизирует успешные эксперименты ML с помощью проектов и конвейеров SageMaker	3-A	Инициализация SageMaker пайплайны (предобработка, тренировка, оценка) в среде dev account Инициирует процесс CI/CD с помощью CodePipeline в среде dev
    3-B	После работы SageMaker пайплайнов сохраняет модель в локальном (dev) реестре моделей
    Глава науки о данных или ведущий ML-специалист	4	Одобряет модель в локальном (dev) реестре моделей	4-A	Метаданные модели и пакет моделей записываются из локального (dev) реестра моделей в центральный реестр моделей

    Номер модуля	Модули	Основной доступ	Вторичный доступ	Целевые персоны	Количество учетных записей
    1	Мульти-аккаунтовые основы	Центральная команда облачной инженерии	Отдельные подразделения	Администраторы облачных вычислений Облачные инженеры	Несколько
    2	Основы хранилища данных	Центральная команда облачной инженерии или команда инженерии платформы данных	Отдельные подразделения	Администраторы данных Инженеры данных	Несколько
    3	Службы платформы машинного обучения	Центральная команда облачной инженерии или команда инженерии платформы машинного обучения	Отдельные подразделения	Администраторы платформы машинного обучения Мы команда лидер – Инженеры платформы машинного обучения – Лидер управления моделями машинного обучения	Один
    4	Разработка применения машинного обучения	Отдельные подразделения	Центральная команда облачной инженерии или команда инженерии платформы машинного обучения	Ученые-данных Инженеры данных	Несколько
    5	Операции машинного обучения	Центральная команда облачной инженерии или команда машинного обучения	Отдельные подразделения	Инженеры машинного обучения Лидеры команд машинного обучения Ученые-данных	Несколько
    6	Централизованное хранилище функций	Центральная команда облачной инженерии или команда инженерии данных	Отдельные подразделения	Инженеры данных	Один
    7	Журналирование и наблюдаемость	Центральная команда облачной инженерии	Отдельные подразделения	Администраторы облачных вычислений Аудиторы IT	Один
    8	Стоимость и отчетность	Отдельные подразделения	Центральная команда платформы	Исполнители LOB Менеджеры МЛ	Один

    Заключение

    В этом посте мы представили фреймворк для управления жизненным циклом машинного обучения в масштабе, который помогает вам реализовать хорошо-архитектурные рабочие нагрузки по машинному обучению, включая безопасность и контроль управления. Мы обсудили, как этот фреймворк принимает голистический подход к созданию платформы машинного обучения, учитывая управление данными, управление моделями и контроль на уровне предприятия. Мы призываем вас провести эксперименты с фреймворком и концепциями, представленными в этом посте, и поделиться своими отзывами.

    </tr