Улучшение состояния активов и надежности сети с использованием машинного обучения

Улучшение активов и надежности сети с помощью машинного обучения

Этот пост написан совместно с Трэвисом Бронсоном и Брайаном Л. Уилкерсоном из Duke Energy

Машинное обучение (ML) преобразует каждую отрасль, процесс и бизнес, но путь к успеху не всегда прост. В этом блоге мы демонстрируем, как Duke Energy, компания из списка Fortune 150 с головным офисом в Шарлотте, Северная Каролина, сотрудничала с Лабораторией решений по машинному обучению Amazon Web Services (MLSL) для использования компьютерного зрения в автоматизации инспекции деревянных опор электропередачи и предотвращения аварийных отключений электроэнергии, повреждений собственности и даже травм.

Электрическая сеть состоит из опор, линий и электростанций, которые генерируют и доставляют электроэнергию миллионам домов и предприятий. Эти опоры являются ключевыми элементами инфраструктуры и подвержены различным внешним воздействиям, таким как ветер, дождь и снег, которые могут привести к истиранию активов. Крайне важно регулярно осматривать и обслуживать опоры, чтобы предотвращать возможные отказы, которые могут привести к аварийному отключению электроэнергии, повреждению собственности и даже травмам. Большинство энергетических компаний, включая Duke Energy, используют визуальные осмотры опор для выявления аномалий, связанных с их трансмиссионными и распределительными сетями. Однако этот метод может быть дорогостоящим и затратным по времени, и требует, чтобы работники линейной передачи электроэнергии следовали строгим протоколам безопасности.

Duke Energy ранее использовала искусственный интеллект для создания эффективности в своей повседневной деятельности с большим успехом. Компания использовала искусственный интеллект для осмотра энергетических активов и критической инфраструктуры, и также исследовала возможности применения искусственного интеллекта для осмотра опор электроэнергии. В ходе сотрудничества Лаборатории решений по машинному обучению Amazon Web Services с Duke Energy, компания продвинула свою работу по автоматизации выявления аномалий в деревянных опорах с помощью передовых методов компьютерного зрения.

Цели и применение

Цель этого сотрудничества между Duke Energy и Лабораторией решений по машинному обучению состоит в использовании машинного обучения для осмотра сотен тысяч изображений высокого разрешения с целью автоматизации процесса идентификации и обзора всех проблем, связанных с деревянными опорами на протяжении 33 000 миль линий передачи. Эта цель также поможет Duke Energy улучшить устойчивость сети и соответствовать государственным регулятивным требованиям путем своевременного выявления дефектов. Это также позволит снизить затраты на топливо и труд, а также уменьшить выбросы углерода путем минимизации ненужных поездок грузовиков. Наконец, это также повысит безопасность путем сокращения пробега, преодоления опор и физического риска, связанного с сложными условиями местности и погоды.

В следующих разделах мы представляем основные проблемы, связанные с разработкой надежных и эффективных моделей для выявления аномалий, связанных с деревянными опорами. Мы также описываем основные проблемы и предположения, связанные с различными методами предобработки данных, применяемыми для достижения желаемой производительности модели. Затем мы представляем основные метрики, используемые для оценки производительности модели, а также оцениваем наши окончательные модели. И, наконец, мы сравниваем различные передовые методы надзорного и ненадзорного моделирования.

Проблемы

Одной из основных проблем, связанных с обучением модели для обнаружения аномалий с использованием аэрофотоснимков, является неоднородный размер изображений. Ниже показано распределение высоты и ширины изображений в выборке данных от Duke Energy. Можно заметить, что изображения имеют большое разнообразие размеров. Также размеры изображений представляют существенные проблемы. Размеры входных изображений составляют тысячи пикселей по ширине и тысячи пикселей по длине. Это также не идеально для обучения модели для идентификации малых аномальных областей на изображении.

Распределение высоты и ширины изображений для выборки данных

Кроме того, входные изображения содержат большое количество нерелевантной фоновой информации, такой как растительность, автомобили, домашние животные и т.д. Фоновая информация может привести к недостаточной производительности модели. По нашей оценке, только 5% изображения содержат деревянные опоры, и аномалии еще меньше. Это является основной проблемой для выявления и локализации аномалий на изображениях высокого разрешения. Количество аномалий значительно меньше по сравнению с общим объемом данных. Во всей выборке данных есть всего 0,12% аномальных изображений (т.е. 1,2 аномалии из 1000 изображений). Наконец, для обучения надзорной модели машинного обучения нет доступных размеченных данных. Далее мы описываем, как мы решаем эти проблемы и объясняем наш предлагаемый метод.

Обзор решения

Методы моделирования

На следующей иллюстрации показана наша система обработки изображений и обнаружения аномалий. Сначала мы импортировали данные в Amazon Simple Storage Service (Amazon S3) с помощью Amazon SageMaker Studio. Затем мы использовали различные методы обработки данных для решения некоторых вышеупомянутых проблем и улучшения производительности модели. После предварительной обработки данных мы использовали Amazon Rekognition Custom Labels для разметки данных. Размеченные данные далее использовались для обучения надзорных моделей машинного обучения, таких как Vision Transformer, Amazon Lookout for Vision и AutoGloun для обнаружения аномалий.

Обработка изображений и конвейер обнаружения аномалий

На следующей фигуре показан детальный обзор нашего предложенного подхода, который включает конвейер обработки данных и различные алгоритмы машинного обучения, используемые для обнаружения аномалий. Сначала мы опишем шаги, включенные в конвейер обработки данных. Затем мы объясним детали и интуицию, связанные с различными моделями, используемыми во время этой работы, чтобы достичь желаемых целей производительности.

Предварительная обработка данных

Предлагаемый конвейер предварительной обработки данных включает стандартизацию данных, определение области интереса (ROI), увеличение данных, сегментацию данных и, наконец, разметку данных. Цель каждого шага описана ниже:

Стандартизация данных

Первый шаг в нашем конвейере обработки данных – это стандартизация данных. На этом шаге каждое изображение обрезается и делится на неперекрывающиеся фрагменты размером 224 X 224 пикселей. Цель этого шага – сгенерировать фрагменты одинакового размера, которые могут быть дальше использованы для обучения модели машинного обучения и локализации аномалий на изображениях высокого разрешения.

Определение области интереса (ROI)

Входные данные состоят из изображений высокого разрешения, содержащих большое количество нерелевантной фоновой информации (т.е. растительность, дома, машины, лошади, коровы и т.д.). Наша цель – идентифицировать аномалии, связанные с деревянными столбами. Для определения области интереса (т.е. фрагментов, содержащих деревянный столб), мы использовали настраиваемую метку Amazon Rekognition. Мы обучили модель настраиваемой метки Amazon Rekognition, используя 3 тыс. помеченных изображений, содержащих как ROI, так и фоновые изображения. Цель модели – провести бинарную классификацию между ROI и фоновыми изображениями. Фрагменты, идентифицированные как фоновая информация, отбрасываются, в то время как фрагменты, предсказанные как ROI, используются на следующем шаге. Следующая фигура демонстрирует конвейер, который идентифицирует ROI. Мы сгенерировали выборку неперекрывающихся фрагментов из 1 110 деревянных изображений, что дало 244 673 фрагмента. Затем мы использовали эти изображения в качестве входных данных для настраиваемой модели Amazon Rekognition, которая идентифицировала 11 356 фрагментов как ROI. Наконец, мы вручную проверили каждый из этих 11 356 фрагментов. Во время ручной проверки мы определили, что модель правильно предсказала 10 969 фрагментов из 11 356 как ROI. Другими словами, модель достигла точности 96%.

Идентификация области интереса

Разметка данных

Во время ручной проверки изображений мы также пометили каждое изображение с соответствующими метками. Связанные метки изображений включают деревянный фрагмент, недеревянный фрагмент, неразличимая структура, недеревянный фрагмент и, наконец, деревянные фрагменты с аномалиями. На следующей фигуре показана терминология изображений с использованием настраиваемой метки Amazon Rekognition.

Увеличение данных

Учитывая ограниченное количество помеченных данных, доступных для обучения, мы увеличили обучающий набор данных, создавая горизонтальные отражения всех фрагментов. Это имело эффективное влияние в виде удвоения размера нашего набора данных.

Сегментация

Мы пометили объекты на 600 изображениях (столбы, провода и металлические ограждения) с помощью инструмента разметки объектов с ограничительными рамками в настраиваемых метках Amazon Rekognition и обучили модель для обнаружения трех основных объектов интереса. Мы использовали обученную модель для удаления фона со всех изображений, идентифицируя и извлекая столбы на каждом изображении, при этом удаляя все остальные объекты, а также фон. Полученный набор данных содержал меньше изображений, чем исходный набор данных, в результате удаления всех изображений, не содержащих деревянные столбы. Кроме того, также было удалено ложноположительное изображение из набора данных.

Выявление аномалий

Затем мы используем предварительно обработанные данные для обучения модели машинного обучения для выявления аномалий. Мы использовали три различных метода для выявления аномалий, включая управляемые сервисы машинного обучения AWS (Amazon Lookout for Vision [L4V], Amazon Rekognition), AutoGluon и метод самодистилляции на основе визионного трансформера.

Сервисы AWS

Amazon Lookout for Vision (L4V)

Amazon Lookout for Vision – это управляемый сервис AWS, который позволяет быстро обучать и развертывать модели машинного обучения и обладает возможностями выявления аномалий. Для этого требуются полностью размеченные данные, которые мы предоставляем, указывая пути к изображениям в Amazon S3. Обучение модели осуществляется с помощью простого вызова API (интерфейса прикладного программирования) или нажатия кнопки в консоли, и L4V самостоятельно заботится о выборе модели и настройке гиперпараметров.

Amazon Rekognition

Amazon Rekognition – это управляемый сервис искусственного интеллекта/машинного обучения, аналогичный L4V, который скрывает детали моделирования и предоставляет множество возможностей, таких как классификация изображений, обнаружение объектов, настраиваемая разметка и другие. Он позволяет использовать встроенные модели для применения к известным сущностям на изображениях (например, из ImageNet или других больших открытых наборов данных). Однако мы использовали функциональность настраиваемых меток Amazon Rekognition для обучения определителя ROI (области интереса), а также обнаружителя аномалий на конкретных изображениях, имеющихся у Duke Energy. Мы также использовали настраиваемые метки Amazon Rekognition для обучения модели, которая обводит ограничивающие рамки вокруг деревянных столбов на каждом изображении.

AutoGluon

AutoGluon – это открытая техника машинного обучения, разработанная Amazon. AutoGluon включает мультимодальный компонент, который облегчает обучение на изображениях. Мы использовали AutoGluon Multi-modal для обучения моделей на размеченных фрагментах изображений, чтобы установить базовый уровень для выявления аномалий.

Визионный трансформер

Многие из самых захватывающих новых достижений искусственного интеллекта были достигнуты благодаря двум последним инновациям: самообучению, которое позволяет машинам учиться на случайных неразмеченных примерах, и трансформерам, которые позволяют моделям искусственного интеллекта сосредоточиться на определенных частях входных данных и, таким образом, делать более эффективные выводы. Оба метода являются постоянным предметом изучения машинного обучения, и мы рады сообщить, что мы использовали их в этом проекте.

В частности, совместно с исследователями из Duke Energy мы использовали предварительно обученные модели ViT (Vision Transformer) самодистилляции в качестве извлекателей признаков для приложения выявления аномалий с использованием Amazon Sagemaker. Предварительно обученные модели визионного трансформера самодистилляции обучаются на большом количестве тренировочных данных, хранящихся в Amazon S3, в режиме самообучения с использованием Amazon SageMaker. Мы используем возможности передачи обучения моделей ViT, предварительно обученных на больших наборах данных (например, ImageNet). Это помогло нам достичь полноты 83% на наборе для оценки, используя всего несколько тысяч помеченных изображений для обучения.

Метрики оценки

На следующей диаграмме показаны основные метрики, используемые для оценки производительности модели и ее влияния. Основная цель модели – максимизировать выявление аномалий (т.е. истинно положительные результаты) и минимизировать количество ложных отрицательных результатов, или случаи, когда аномалии, которые могут привести к сбоям, классифицируются неправильно.

После определения аномалий техники могут вмешаться и предотвратить будущие сбои, а также обеспечить соответствие государственным регуляторным требованиям. Есть еще одно преимущество в минимизации ложных срабатываний: вы избегаете ненужных усилий, связанных с повторным просмотром изображений.

Исходя из этих метрик, мы отслеживаем производительность модели по следующим метрикам, которые включают все четыре определенные метрики выше.

Точность

Процент обнаруженных аномалий, которые являются реальными аномалиями для объектов интереса. Точность оценивает, насколько хорошо наш алгоритм идентифицирует только аномалии. В данном случае высокая точность означает низкое количество ложных срабатываний (т.е. алгоритм ложно идентифицирует дыру от дятла, когда такой дыры на изображении нет).

Полнота

Процент всех аномалий, которые восстанавливаются для каждого объекта интереса. Полнота показывает, насколько хорошо мы идентифицируем все аномалии. Этот набор захватывает определенный процент от полного набора аномалий, и этот процент является полнотой. В данном случае высокая полнота означает, что мы хорошо ловим дыры от дятлов, когда они появляются. Полнота является правильной метрикой для фокусировки в этом POC, потому что ложные срабатывания могут быть в лучшем случае раздражающими, тогда как пропущенные аномалии могут привести к серьезным последствиям, если их не устранить.

Низкая полнота может привести к простоям и нарушениям правил государственного регулирования. В то же время низкая точность приводит к неэффективному использованию человеческих ресурсов. Основная цель данного взаимодействия состоит в том, чтобы идентифицировать все аномалии в соответствии с государственными нормативными актами и избежать простоев, поэтому мы приоритезируем улучшение полноты перед точностью.

Оценка и сравнение моделей

В следующем разделе мы демонстрируем сравнение различных методов моделирования, применяемых во время данного взаимодействия. Мы оценили производительность двух сервисов AWS: Amazon Rekognition и Amazon Lookout for Vision. Мы также оценили различные методы моделирования с использованием AutoGluon. Наконец, мы сравниваем производительность с методом самодистилляции на основе ViT, основанном на передовых технологиях.

На следующей диаграмме показано улучшение модели AutoGluon с использованием различных методов обработки данных в течение данного взаимодействия. Ключевое наблюдение состоит в том, что с улучшением качества и количества данных производительность модели в терминах полноты улучшилась с менее чем 30% до 78%.

Далее мы сравниваем производительность AutoGluon с сервисами AWS. Мы также применили различные методы обработки данных, которые помогли улучшить производительность. Однако основное улучшение произошло за счет увеличения количества и качества данных. Мы увеличили размер набора данных с 11 тысяч изображений в общей сложности до 60 тысяч изображений.

Затем мы сравниваем производительность AutoGluon и сервисов AWS с методом на основе ViT. На следующей диаграмме показано, что методы на основе ViT, AutoGluon и сервисы AWS показали сравнимую производительность в терминах полноты. Одно ключевое наблюдение заключается в том, что после определенного момента увеличение качества и количества данных не помогает увеличить производительность в терминах полноты. Однако мы наблюдаем улучшения в терминах точности.

Сравнение точности и полноты

Amazon AutoGluon Предсказанные аномалии Предсказанные нормальные
Аномалии 15600 4400
Нормальные 3659 38341

Затем мы представляем матрицу ошибок для AutoGluon, Amazon Rekognition и метода на основе ViT с использованием нашего набора данных, который содержит 62 тысячи образцов. Из 62 тысяч образцов 20 тысяч образцов аномальны, в то время как остальные 42 тысячи изображений являются нормальными. Можно заметить, что методы на основе ViT захватывают наибольшее количество аномалий (16 600), за ними следуют Amazon Rekognition (16 000) и Amazon AutoGluon (15 600). Аналогично, у Amazon AutoGluon наименьшее количество ложных срабатываний (3659 изображений), за ними следуют Amazon Rekognition (5918) и ViT (15323). Эти результаты демонстрируют, что Amazon Rekognition достигает наивысшего значения AUC (площадь под кривой).

Amazon Rekognition Предсказанные аномалии Предсказанные нормальные
Аномалии 16,000 4000
Нормальные 5918 36082
ViT                                Предсказанные аномалии Предсказанные нормальные
Аномалии 16,600 3400
Нормальные 15,323 26,677

Вывод

В этой статье мы показали, как команды MLSL и Duke Energy сотрудничали, чтобы разработать решение на основе компьютерного зрения для автоматического обнаружения аномалий в деревянных опорах с использованием высоко разрешающих изображений, полученных при помощи вертолетных полетов. Предложенное решение использует конвейер обработки данных для обрезки изображения высокого разрешения, чтобы привести его к стандартному размеру. Обрезанные изображения далее обрабатываются с помощью Amazon Rekognition Custom Labels для идентификации интересующих областей (то есть областей, содержащих патчи с опорами). Amazon Rekognition достигает 96% точности при правильной идентификации патчей с опорами. Области интереса затем используются для обнаружения аномалий с помощью модели AutoGluon на основе ViT с самодистилляцией и AWS-сервисов для обнаружения аномалий. Мы использовали стандартный набор данных для оценки производительности всех трех методов. Модель на основе ViT достигает 83% полноты и 52% точности. AutoGluon достигает 78% полноты и 81% точности. Наконец, Amazon Rekognition достигает 80% полноты и 73% точности. Цель использования трех различных методов – сравнить производительность каждого метода с разным количеством обучающих выборок, временем обучения и временем развертывания. Все эти методы требуют менее 2 часов для обучения и развертывания с использованием одного графического процессора A100 или управляемых сервисов на Amazon AWS. Следующие шаги для дальнейшего улучшения производительности модели включают добавление большего количества обучающих данных для повышения точности модели.

В целом, предложенный в этой статье полный конвейер позволяет достичь значительного улучшения обнаружения аномалий, минимизируя операционные затраты, риски безопасности, регуляторные риски, выбросы углерода и возможные отключения электроэнергии.

Разработанное решение может быть использовано для других случаев обнаружения аномалий и анализа состояния активов в сетях передачи и распределения, включая дефекты изоляторов и другого оборудования. Для получения дополнительной помощи в разработке и настройке этого решения, не стесняйтесь связаться с командой MLSL.