Подход исполнительного архитектора к FinOps как искусственный интеллект и автоматизация оптимизируют управление данными

Архитектурный взгляд на FinOps использование искусственного интеллекта и автоматизации для оптимизации управления данными

Мы научились подходить к FinOps как к системе взглядов и набору возможностей облачных решений. Да, FinOps позволяет фирмам извлекать ценность из облачных ресурсов согласованно и непрерывно (согласно статье МакКинзи, достигается сбережение от 20 до 30% в год), но он также способствует росту и инновациям. Чтобы достичь экономии и трансформационных выгод, будьте готовы рассматривать свои усилия в области FinOps как критический приоритет для бизнеса.

За последние два года — и после более чем двадцати консультаций — мы можем назвать несколько проблем, мешающих успеху FinOps.

Топ-менеджеры бизнеса поздно принимают принципы FinOps, уделяя слишком много внимания операционным и тактическим возможностям, а не стратегическим компетенциям, обеспечивающим будущую экономию в области облачных ресурсов. Команды не достигают соответствия основных принципов FinOps с принципами управления данными в облаке, обеспечивая свой успех. Кроме того, не разрабатываются или игнорируются важные навыки, что приводит к пробелам в возможностях FinOps и нереализации экономических преимуществ.

Чтобы избежать этих ошибок, этот статья будет предлагать четыре дисциплины FinOps:

  1. Понимание использования и стоимости облачных ресурсов
  2. Анализ данных и отчетность
  3. Управление аномалиями
  4. Управление нагрузкой и автоматизация

Особое внимание следует уделять искусственному интеллекту и автоматизации в управлении данными, позволяющим использовать правильные, надежные, полные и гигиенические данные для вашей FinOps-жизненного цикла. Мы будем придерживаться инструментального подхода, чтобы ваша организация имела необходимые компетенции для создания своего FinOps-решения с учетом проверенного временем управления данными в облаке.

Как позитивный участник в общественной реализации FinOps, эта статья соблюдает условия использования и поддержки FinOps 4.0.

Что такое FinOps?

FinOps – это развивающаяся дисциплина управления финансами в области облачных ресурсов и культурной практики, которая позволяет организациям получать максимальную бизнес-ценность, объединяя инженерные, финансовые, технические и бизнес-команды в принятии решений, основанных на данных. Если FinOps основан на данных, то управление данными в облаке всегда является важным аспектом FinOps.

Нельзя забыть, что FinOps также является стратегическим мандатом, при котором команды эффективно управляют затратами на облачные ресурсы и достигают согласия по основным практикам, позволяя подразделениям улучшить управление их облачным использованием при поддержке централизованной группы по лучшим практикам. Команды, объединяющие инженерную, финансовую, CRM и продуктовую дисциплины, позволяют друг другу обеспечить более быструю доставку, одновременно усиливая финансовый контроль и предсказуемость.

Иллюстрация рамочной структуры FinOps.

Прежде чем разбирать этапы FinOps в соответствии с целями и практиками управления данными в облаке, имеет смысл рассказать о ключевых концепциях, на которых он основан:

Фреймворк FinOps описывает:

  • Принципы, на основе которых развивается публичная доменная и практика FinOps.
  • Персоны, которым необходима поддержка FinOps.
  • Лучшие практики и модели процессов, позволяющие достижение целей FinOps.
  • Домены деятельности, которые необходимо учитывать для успешной практики FinOps.

FinOps опирается на жизненный цикл “летящего колеса”, который стремится:

  1. Информировать команды, заинтересованные стороны и бизнес-подразделения.
  2. Идентифицировать и измерять цели оптимизации.
  3. Внедрять изменения и основные возможности по мере развития целей и метрик FinOps.

Этот подход предлагает ступенчатую зрелость при решении вызовов, с которыми сталкивается организация в области управления данными в облаке. Эта структура также называется Моделью способностей FinOps или моделью функции FinOps.

FinOps предоставляет простой, но очень мощный жизненный цикл для итеративной доставки и улучшения результатов: Информирование, Оптимизация и Операционное управление. Фаза Информирования обеспечивает видимость, а также назначение, бюджетирование и прогнозирование.

Фаза Оптимизации должна направлять вашу фирму на достижение четко сформулированных и измеримых целей. Рассмотрите начало по крайней мере двух таких дисциплин: оптимизация стоимости облачных ресурсов и оптимизация использования облачных ресурсов.

Для оптимизации облака стоимости, подход должен определяться одним простым принципом – ваша фирма арендует облачную инфраструктуру, а облачные гиперскейлинги ее владеют. Таким образом, облачная инфраструктура, которая соответствует вашей модели ценообразования на гибкой основе, побеждает. Базисный набор услуг по сравнению с специализированными услугами (с дополнительной стоимостью) должен быть указан в расписании для всех подразделений, использующих платформу FinOps.

При фокусе на оптимизации использования облачных ресурсов, нет иного пути, кроме моделей переменного использования (например, выполнение финансовых отчетов в конце квартала по сравнению с ограниченным использованием в начале квартала). Таким образом, возникает вопрос о точном сопоставлении рабочих нагрузок с оптимизированными вычислительными стеками на основе анализа автомасштабирования и выключения неиспользуемых ресурсов. К счастью, эластичные вычислительные кластеры облачного вычисления разработаны именно для этой цели. Управление облачными затратами и своевременное доставление бизнес-значения требуют аккуратного баланса. Поэтому, регулярно запрашивайте отзывы ваших IT-операционных служб и деловых партнеров, чтобы обеспечить успех проекта. FinOps – это гибкая рамка, в которой ваши исполнительные спонсоры должны последовательно направлять и определять ключевые цели для ваших команд.

Фаза Операция заключается в достижении предсказуемости единицы экономики. Это сводится к управлению аномалиями, управлению рабочей нагрузкой и автоматизации в рамках FinOps.

Если говорить простыми словами, управление аномалиями – это способность обнаруживать, специфицировать, оповещать и управлять неожиданными событиями облачных затрат своевременно, чтобы снизить негативное воздействие на бизнес, включая его стоимость. Управление аномалиями, как правило, включает использование инструментов или отчетов для выявления неожиданного расхода, распространения оповещений об аномалиях и исследования их причин и решения. Поэтому сейчас самое время задуматься о следующем:

  • Какие инструменты обеспечивают автоматизацию, оповещения и ИИ для выявления этих аномалий – своевременно и последовательно?
  • Кто из структуры вашего FinOps должен отвечать за применение этих инструментов для достижения измеримого результата?
  • Какой инструментарий позволит создавать дашборды с надежным анализом данных и отчетностью?
  • Сколько выборок от разных команд (две недели, полгода) требуется для различения между предсказуемыми периодическими изменениями и реальными аномалиями? Избегайте ловушки авторитетных решений, основанных на слишком коротких временных периодах или недостаточном числе команд – это очень важно! Теперь, согласно нижеприведенной схеме, увеличение сканирования метаданных для компании из рейтинга Fortune 1000 является предсказуемым вариантом, который можно учесть при управлении аномалиями:

Иллюстрация увеличения использования облачной платформы.

Управление рабочей нагрузкой и автоматизация требуют практического подхода и повторяемых результатов на основе метрик.

Он сосредоточен на запуске задач только при необходимости и создании механизмов, которые автоматически настраивают, какие вычислительные ресурсы выполняются в данный момент. Одной из ключевых целей является предоставление командам FinOps возможности адаптироваться к сезонному спросу или спонтанному изменению спроса наиболее эффективно, а также оптимизировать использование облачных ресурсов путем динамического измерения запросов рабочей нагрузки и организации вычислительных мощностей. Следует учесть некоторые основные требования для достижения этого желаемого состояния:

  • Какова безопасность задач во время их выполнения – обеспечивает ли резервирование рабочих нагрузок на облачных архитектурах то, чтобы быть устойчивыми к сбоям?
  • Поддерживает ли это решение планирование, основанное на пользовательском интерфейсе и API, чтобы фаза Операция не полностью зависела от людей?
  • Поддерживается ли эластичная обработка для сильно изменяющихся рабочих нагрузок как в самообслуживаемых кластерах, так и в полностью управляемых кластерах (например, Azure Kubernetes Services [AKS])?
  • Поддерживается ли обработка масштабных задач на сервере без сервера облака, что позволяет управлять рабочей нагрузкой, инфраструктурой и автоматизацией одним поставщиком по одной стоимости?
  • Может ли та же платформа предоставлять метаданные в режиме реального времени для поддержки анализа данных и анализа для оптимизации стоимости облака и использования облачных ресурсов?

Как видно из вышеуказанного, сложные вопросы накапливаются очень быстро. Теперь представьте, что вы задаете вопросы IT-операционным службам, должностным лицам по обеспечению бизнес-продолжительности и представителям предприятия: «Как мы можем спланировать и разработать одно решение для этого?» Ниже приведены некоторые ключевые возможности, которые помогут решить проблемы автоматизации и управления рабочей нагрузкой.

Ключевые возможности, решающие проблемы автоматизации и управления рабочей нагрузкой в рамках FinOps.

Преимущества эффективной реализации FinOps

В нижеприведенном списке объединены наши консультационные опыты 2022-2023 годов в области преимуществ FinOps и ценная статья в Harvard Business Review:

  • Решения принимаются на основе измеримой бизнес-ценности, а не субъективных IT-результатов.
  • Облачная эконо

    Владельцам бизнеса требуется «согласие» для достижения результата, следуя установленным практикам FinOps. Организации всех сторон приобретают уверенность в управлении инвестициями в облачные вычисления с помощью своевременных показателей того, где компания получает наибольшую ценность от своих облачных инвестиций.

    • Паттерны потребления облачных ресурсов становятся более эффективными и привязаны к генерации доходов, цифровой трансформации или другим деловым целям.
    • Нетехнические команды приобретают большие навыки в известных ограничениях стоимости, управлении и экспертных решениях перед представлением проектов на выполнение.

    Обратите внимание, что в этой статье мы не затрагиваем все аспекты FinOps. Цель состоит в построении автоматизированного и на базе искусственного интеллекта инструментария для управления данными, чтобы обеспечить функционирование FinOps. Логичным следующим шагом будет определение сложностей FinOps с точки зрения управления данными.

    Проблемы в FinOps

    Обсуждение распространенных преград и проблем в FinOps

    Ознакомьтесь с этим кратким списком сложных проблем, которые известны как препятствия для успеха в FinOps – опираясь на опыт более двадцати (20) компаний Fortune 1000, когда практики управления облачными данными не существуют для поддержки FinOps:

    • Невозможно обеспечить измеримые «согласованные» контрольные механизмы затрат на облачные вычисления и управление по всем предприятию.
    • Отсутствие механизма отчетности в режиме реального времени для заинтересованных лиц, которые выявляют критические проблемы управления данными.
    • Невозможно управлять аномалиями в данных, расходах на облачные ресурсы, их использовании и отчетности.
    • Несогласованная политика облачных вычислений и управления с правом голоса для обеспечения сэкономленных затрат и измеряемых деловых результатов.
    • Неустановленные правила жесткого размещения данных означают, что один регион может перемещать, преобразовывать и получать доступ к данным, тогда как другой – нет.
    • Плохое управление доступом к облачным данным (DAM) не позволяет заинтересованным лицам иметь доступ к необходимым данным вовремя.
    • Согласно предыдущему списку, отсутствие участия облачной платформы в процессах и достижениях проекта делает руководителей компаний отстраненными от усилий в области FinOps.

    Итак, если вашей целью являются «ориентиры», определяющие поведение и принципы практики FinOps, то необходимо установить более конкретные приемы и возможности, управляемые этими принципами, в вашей компании. Теперь мы перейдем к снижению вышеуказанных проблем и принципам FinOps с помощью матрицы принятия решений:

    Примечание: Если нужда, преграда или проблема, с которой сталкиваетесь, не может быть решена при помощи принципов управления данными FinOps сама по себе, они не будут рассматриваться в этой статье. FinOps и управление данными на базе искусственного интеллекта не решат проблемы команд, которые требуют сотрудничества самостоятельно.

    Как уже упоминалось, вот несколько вещей для рассмотрения на этапе Оптимизации: Каким образом можно спланировать рабочие нагрузки для перехода к снижению затрат на вычисления вместо их немедленного требования? Где можно использовать серверные вычисления Spark для снижения сложности настройки производительности, но при этом достижения целей времени выполнения? Наконец, какие решения предоставляют всеобъемлющую оптимизацию облачной нагрузки и инфраструктуры с использованием анализа рабочей нагрузки на базе метаданных для оценки оптимизаций?

    Как преодолеть проблемы в FinOps

    Для начала решения вышеуказанных потребностей FinOps вашей команде необходимо найти всеобъемлющую платформу, способную регулярно решать проблемы в рамках дисциплин, которые предоставляет FinOps.

    Схема ниже является не окончательным ответом на матрицу проблем FinOps, но она помогает калибровать ваши мысли о том, как решить проблемы в рамках единого подхода к платформе.

    Схема, изображающая логические потребности платформы в облачном управлении данными для FinOps.

    Вашей компании потребуется предложить будущую платформу FinOps (с автоматизацией и управлением данными на базе искусственного интеллекта), чтобы обеспечить понимание использования и затрат на облачные ресурсы, анализ данных и отчетность, управление аномалиями и автоматизацию рабочей нагрузки. Предсказуемость, прогнозирование, управление общими затратами и оценка единичной стоимости могут быть обеспечены только платформой, созданной для их поддержки. Теперь мы можем перейти к решению проблем управления облачными данными в рамках FinOps.

    Роль автоматизации и управление данными на базе искусственного интеллекта для обеспечения FinOps

    Искусственный интеллект в управлении данными

    Понимайте, что ваша компания не сможет перейти к фазам Оптимизации и Функционирования FinOps, если управление данными (начиная с качества данных) находится в неприемлемом состоянии.

    Для организаций, основанных на FinOps и стремящихся оптимизировать затраты на облачные вычисления и повысить операционную эффективность, системы на базе искусственного интеллекта (например, большие лингвистические модели) играют ключевую роль в устойчивом управлении данными. Путем использования продвинутых алгоритмов и методов машинного обучения (ML), системы искусственного интеллекта могут анализировать огромные объемы данных для выявления паттернов, аномалий и несоответствий, обеспечивая точность, полноту и целостность данных. Однако эти данные должны быть высокого качества для обеспечения точного анализа и отчетности данных или более глубокого анализа затрат на использование облачных ресурсов и управления аномалиями.

    Рассмотрим следующий сценарий: у фирмы FinOps есть две команды: одна тратит $1 млн на инфраструктуру с доставляемыми гигиеническими данными, а другая тратит $1 млн на инфраструктуру с аномальными и недоставляемыми данными (но их ETL выполняется). Ваш анализ данных для FinOps будет содержать ошибочные решения по как минимум двум проблематическим областям:

    1. Облачные вычисления, основанные на этих фальшивых данных, «придется запустить заново», чтобы достичь бизнес-целей.
    2. Аналитики FinOps будут иметь неверные затраты на единицу, если половина заданий выполняется на не гигиенических и недоставляемых данных.

    Все довольно просто.

    Искусственный интеллект производит предубеждения, если он основан на ошибочных или неполных данных, что приводит к негативным последствиям для вашего анализа данных в FinOps, исследований данных и общих при принятии решений на основе данных.

    Мы согласны с сообщением Forbes, что GenAI зависит от данных, на которых ему обучают. Недостатки во входных тренировочных наборах данных – будь то недостаточный объем или ограничение во времени – в конечном итоге проявляются через неточные модели обучения и операционные результаты для ИИ в повседневном использовании данных. Поэтому важно определить, расположить и интегрировать облачное решение для обеспечения качества данных для достижения чистоты данных там, где это возможно. В противном случае, ошибочные данные, ведущие к неправильным решениям, будут блокировать ключевые результаты FinOps, о которых упоминается во введении.

    Использование логических моделей для получения результатов ИИ повышает риск возникновения галлюцинаций в создаваемых данных. Руководствуйтесь этим логическим процессом для выявления и предотвращения галлюцинаций в GenAI:

    • Клинически исследуйте и анализируйте (мы использовали профилирование данных), чтобы убедиться, что источники данных для GenAI соответствуют основным ожиданиям.
    • Затем проверьте и измерьте эти профилированные источники данных по измерениям качества данных в таблице оценок.
    • Повторно требуйте (и усваивайте) входные данные от заинтересованных сторон на основе таблиц оценок.
    • Вовлеките FinOps в процесс обеспечения качества данных – как входные данные для обучения GenAI, так и общие бизнес-данные.
    • Если входные данные GenAI не соответствуют требованиям FinOps, предпримите необходимые меры для их исправления.

    Применение глобальной панели управления с использованием ИИ для инспекции, анализа и принятия мер по низкому качеству данных и соблюдению гигиены.

    Сознательно используйте барьер принятия перед использованием данных GenAI и результатами для команд FinOps. Используйте точно такой же процесс, чтобы предотвратить ввод бизнес-генерируемых аномальных данных в конвейер FinOps.

    Используйте автоматизацию в первую очередь для укрепления качества данных

    Что касается устранения предубеждения, галлюцинаций и дефектного содержания данных – это явное требование. Фирмам требуются автоматизированные предписательные правила (и предложения по качеству данных), основанные на богатой библиотеке десятков алгоритмов, обновляемых без вмешательства владельца или куратора данных.

    Низкое качество данных и предубеждение ИИ значительно усиливают операционную и принимающую решения нагрузку для FinOps, особенно в области распределения затрат, прогнозирования и управления аномалиями. Предубежденные данные могут исказить атрибуцию ресурсов, приводя к неоднородным финансовым оценкам и неточному планированию бюджета. Эта проблема усиливается во время прогнозирования, когда предубежденные алгоритмы, основанные на ошибочных данных, генерируют неточные прогнозы и затрудняют планирование бюджетов. Кроме того, предубежденные модели представляют реальный риск, так как они могут неправильно интерпретировать реальные аномалии, создавая ложные тревоги или упуская настоящие несоответствия, затрудняя точную идентификацию данных, процесса и финансовых различий вашей фирмы. Просто говоря, операционные и принимающие решения вызовы в FinOps усугубляются из-за низкого качества данных и предубеждения ИИ, что снижает эффективность и точность возможностей FinOps, основанных на точных данных предприятия.

    Приведенные ниже примеры кратко рассматривают практически проверенный подход к использованию автоматизации с алгоритмами предложения правил для укрепления качества данных во всем предприятии, предоставляя некоторую защиту от предубеждения, вызванного ИИ.

    Отображение рекомендуемых правил качества данных, направленных на содействие стандартизации и исправления.

    Отображение принятых автоматически сгенерированных правил качества данных для исправления и стандартизации.

    Все вышесказанное указывает на один пример использования инструментария, использующего автоматизацию и ИИ для обеспечения качества данных с тем, чтобы команды FinOps могли повторять, стабилизировать и успешно выполнить свои задачи в фазе Операции.

    Важно задуматься об использовании такого подхода, обеспечивая содействие, автоматизацию и ИИ в области качества данных. Если замеримые характеристики качества данных не улучшаются с помощью инструментального средства, FinOps не получат выгоду от него, поэтому стоит рассмотреть другой инструментарий. Внедрение в предприятии возможностей FinOps по управлению аномалиями не будет развиваться, если кураторы данных не выберут и не осуществлят правила чистки данных. ИИ имеет значительное значение в сокращении временных и экспертных затрат на решение известных проблем чистоты данных (например, регистр символов, пробелы, орфография) через руководство автоматическими правилами. Кроме того, внедрение фирменного управления рабочей нагрузкой и автоматизации невозможно с аномальными данными, которые отклоняются данными потребителями. Используя термины FinOps, эти две дисциплины будут оставаться «ползком», пока не будет установлено порядок в качестве данных.

    ИИ в автоматизации классификации данных

    К 2023 году масштабируемые каталоги данных, усиленные машинным обучением, позволят компаниям оптимизировать и автоматизировать процессы кураторства данных. Это включает тегирование, классификацию данных и процесс сопоставления делового словаря с техническими активами данных. Это важно, чтобы избежать дорогостоящего или ошибочного вмешательства человека в случае, когда структурная сложность (Parquet, AVRO, XML) и отсутствие непосредственной или непосредственной прямой связи могут мешать бизнес-спонсорам или аналитикам данных ответить на эти важные вопросы:

    • Было ли достаточно собрано надежных и точных данных о ключевых бизнес-сущностях, таких как клиенты, счета и домохозяйства?
    • Существуют ли сложные сущности (например, жилой клиент против корпоративного клиента), которые слабое решение ИИ не может распознать?

    Опыт – это ценный учитель. Как источники фортуны 1000 узнают больше о своих данных и их содержании, появятся еще более сложные требования о «том, что мы должны сканировать и классифицировать», включая:

    1. Десять тысяч экземпляров Teradata;
    2. Пятьдесят миллиардов финансовых рисковых позиций; и
    3. Шестьсот банковских систем.

    Обработка естественного языка (NLP) и расстояние Жаккара могут использоваться для:

    • Точного сопоставления различных моделей ввода со стандартными моделями метаданных для сканирования.
    • Быстрого обнаружения, классификации и предложения сходства данных сложных сущностей, которые часто используются в работе с данными FinOps.
    • Предоставления достоверных оценок сходства для очень несхожих типов данных и структур данных.
    • Поддержки простого текстового поиска после этих сканирований, чтобы пользователи FinOps могли найти нужные данные без программирования.

    Сходство данных представляет собой назначение оценочных баллов сравнимым наборам данных, позволяя пользователям FinOps (а также управляющим, деловым экспертам) подбирать и выбирать наиболее подходящие данные для своих целей. Более сильная, своевременная метаданные и классификация данных внушают уверенность потребителям BU, исполнительным заинтересованным сторонам и командам облачной инженерии данных в том, что вы готовы к оптимизации и эксплуатации.

    ИИ и активные метаданные теги

    Прежде чем заинтересованные стороны смогут проверить и оценить свои активы данных FinOps, сотрудничать по этим активам и принимать на них решения, вам потребуется облачная система управления данными, управляемая ИИ и обеспечивающая следующие стандартные возможности или ответы:

    • Автоматическое сопоставление правил и условий с вашими атрибутами данных для достижения более последовательных результатов политики FinOps.
    • Стандартные роли заинтересованных сторон в повторяемых процессах метаданных.
    • Кто обладает правами собственности, правами голоса и правами изменения политики на активах данных и процессах?
    • Где заинтересованные стороны приняли назначенную им роль (на обновленной диаграмме круговой диаграммы/столбиковой диаграммы)?
    • Какие пользователи и роли потребляют данные?
    • Какие процессы (ETL, интеграция данных, мастера ввода данных) преобразуют данные?
    • Уведомление о поступлении новых или измененных активов данных по запросу пользователя.

    Вышеуказанное не может быть поддержано вручную с помощью кураторов данных, владельцев метаданных и технических экспертов на постоянной основе. Операционные требования FinOps требуют мощных возможностей ИИ (с периодическими обновлениями микросервисов) для стабильных результатов. Объем активов, объем данных, аномалии данных и скорость изменения, вводимых в жизненный цикл FinOps, запрещают подход на основе ручной работы или сингл-вендора.

    Иллюстрация иерархии данных, управляемой доменами, демонстрирует владение заинтересованными сторонами.

    Помните, заинтересованные стороны FinOps будут платить только в случае уверенности в том, что их ценные, доверенные и своевременные данные прошли процесс, добавляющий ценность, благодаря которому они могут делиться, потреблять и понимать свои данные, принимая точные решения, соответствующие потребностям их бизнес-доставке. Автоматизация и ИИ в облачном управлении данными являются важными строительными блоками для достижения этой цели.

    Сосредоточив внимание на этапах оптимизации и эксплуатации, ваша команда FinOps теперь должна быть готова:

    • Назначить первоначальные комиссионные для вычислений, хранения и метаданных.
    • Уметь идентифицировать спящие или несущественные активы данных для исключения из FinOps.
    • Уметь фильтровать аномальные или неполные данные, не готовые для использования в FinOps дальнейшими потребителями.
    • Рассмотреть анализ данных и показатели для FinOps, полученные с помощью указанных выше практик, управляемых ИИ.