Наблюдение за вашим скотом с использованием технологии искусственного интеллекта

Отслеживайте состояние своего стада с помощью искусственного интеллекта

На Amazon Web Services (AWS) мы не только увлечены предоставлением клиентам разнообразных технических решений, но также стремимся глубоко понимать бизнес-процессы наших клиентов. Мы принимаем точку зрения третьей стороны и объективное суждение, чтобы помочь клиентам разобраться в их ценностных предложениях, выявить проблемы и предложить соответствующие решения, а также создать наиболее экономичные и удобные прототипы, которые помогут им систематически достигать своих бизнес-целей.

Этот метод называется работой задом наперед в AWS. Это означает отложить технологии и решения в сторону, начать с ожидаемых результатов клиентов, подтвердить их ценность, а затем, двигаясь в обратном порядке, вывести, что нужно сделать, прежде чем наконец реализовать решение. Во время этапа реализации мы также следуем концепции минимально жизнеспособного продукта и стремимся быстро создать прототип, который может генерировать ценность в течение нескольких недель, а затем итерировать его.

Сегодня давайте рассмотрим случай изучения, в котором AWS и New Hope Dairy сотрудничали для создания умной фермы в облаке. Из этого поста в блоге вы сможете глубоко понять, что AWS может предоставить для создания умной фермы, и как создавать приложения для умной фермы в облаке с помощью экспертов AWS.

Фон проекта

Молоко – питательный напиток. Учитывая национальное здоровье, Китай активно поощряет развитие молочной промышленности. Согласно данным Euromonitor International, продажи молочных продуктов в Китае достигли 638,5 миллиарда юаней в 2020 году и ожидаются увеличение до 810 миллиардов юаней к 2025 году. Кроме того, среднегодовая ставка роста в последние 14 лет также составила 10 процентов, что свидетельствует о быстром развитии.

• Узнайте, как Amazon Pharmacy создал своего чат-бота на основе LLM с использованием Amazon SageMaker
• Захватывающее исполнение Большие языковые модели до 4 раз быстрее на RTX с TensorRT-LLM для Windows
• Этот AI-бюллетень – всё, что вам нужно #69

С другой стороны, к 2022 году большая часть доходов в китайской молочной промышленности все еще поступает от жидкого молока. Шестьдесят процентов сырого молока используется для жидкого молока и йогурта, а еще 20 процентов – для молочного порошка, производного от жидкого молока. Только небольшое количество используется для высокообработанных продуктов, таких как сыр и сливки.

Жидкое молоко – это продукт незначительной обработки, и его выпуск, качество и стоимость тесно связаны с сырым молоком. Это означает, что если молочная промышленность хочет освободить мощности для концентрации на производстве высокообработанных продуктов, создании новых продуктов и проведении более инновационных исследований в биотехнологии, то сначала необходимо улучшить и стабилизировать производство и качество сырого молока.

В качестве лидера молочной промышленности, New Hope Dairy задумалась о том, как увеличить эффективность работы своих ранчо и повысить производство и качество сырого молока. New Hope Dairy надеется использовать третьесторонний взгляд и технические знания AWS для облегчения инноваций в молочной промышленности. Поддержкой и поощрением от Лютонг Ху, вице-президента и главного информационного офицера New Hope Dairy, команда клиентов AWS начала организовывать операции и потенциальные точки инноваций для молочных ферм.

Проблемы молочной фермы

AWS является экспертом в области облачных технологий, но для внедрения инноваций в молочной промышленности необходимы профессиональные советы от экспертов по молочной промышленности. Поэтому мы провели несколько глубоких интервью с Лянронгом Сонгом, заместителем директора центра технологий производства New Hope Dairy, командой по управлению ранчо и питательными врачами, чтобы понять некоторые проблемы и проблемы, с которыми сталкиваются фермы.

Первая проблема – инвентаризация резервных коров

Коровы на молочной ферме делятся на два типа: коровы, дающие молоко, и резервные коровы. Коровы, дающие молоко, зрелы и непрерывно производят молоко, тогда как резервные коровы – это коровы, которые еще не достигли возраста, когда они начинают давать молоко. Большие фермы обычно предоставляют резервным коровам большую открытую зону активности, чтобы создать более комфортные условия для их роста.

Однако и коровы, дающие молоко, и резервные коровы являются активами фермы и должны проводиться ежемесячные инвентаризации. Коровы, дающие молоко, поддаются доению каждый день, и из-за того, что они относительно неподвижны во время доения, инвентарная индикация с ними не составляет проблемы. Однако резервные коровы находятся на открытом пространстве и свободно перемещаются, что затрудняет их инвентаризацию. Каждый раз при проведении инвентаризации несколько работников считают резервных коров повторно из разных зон, и, наконец, проводится контроль количества. Этот процесс занимает один-два дня нескольким сотрудникам и часто возникают проблемы с согласованием количеств или неуверенностью в том, были ли подсчитаны все коровы.

Значительное время можно сэкономить, если у нас будет способ быстро и точно инвентаризировать резервных коров.

Вторая проблема – определение хромых крупного рогатого скота

В настоящее время большинство молочных компаний используют породу по имени Голштейн для производства молока. Голштейны – это черно-белые коровы, с которыми мы все хорошо знакомы. Несмотря на то, что большинство молочных компаний используют одну и ту же породу, все же существуют различия в количестве и качестве производимого молока среди разных компаний и ферм. Это связано с тем, что здоровье молочных коров прямо влияет на производство молока.

Однако коровы не могут самостоятельно выражать неудовольствие, как это делают люди, и ветеринарному врачу сложно регулярно проводить физические осмотры тысяч коров. Поэтому нам приходится использовать внешние показатели, чтобы быстро оценить здоровье коров.

Внешние показатели здоровья коров включают оценку состояния тела и степень хромоты. Оценка состояния тела в значительной степени связана с процентом жира в теле коровы и является показателем на длительный срок, в то время как хромота является показателем на короткий срок, вызванным проблемами с ногами или инфекциями стопы и другими проблемами, которые влияют на настроение, здоровье и производство молока коровы. Кроме того, взрослые голштинские коровы могут весить более 500 кг, что может нанести значительный вред их ногам, если они нестабильны. Поэтому, когда возникает хромота, ветеринарный врач должен вмешиваться как можно скорее.

Согласно исследованию 2014 года, доля сильно хромых коров в Китае может достигать 31 процента. Хотя ситуация, возможно, улучшилась с момента исследования, количество ветеринаров на фермах чрезвычайно ограничено, что затрудняет регулярное мониторинг коров. Когда обнаруживается хромота, ситуация часто является серьезной, лечение требует времени и труда, и производство молока уже пострадало.

Если у нас будет способ своевременно выявлять хромоту у коров и подсказывать ветеринарам вмешаться на стадии легкой хромоты, общее здоровье и производство молока коров увеличатся, а производительность фермы улучшится.

В конце концов, есть оптимизация затрат на кормление

В животноводстве корм является самой переменной затратой. Чтобы обеспечить качество и запасы корма, фермы часто вынуждены закупать кормовые составляющие у отечественных и зарубежных поставщиков и доставлять их на фабрики по формированию корма. Существует множество видов современных кормовых ингредиентов, включая соевый шрот, кукурузу, люцерну, овсяную траву и так далее, что означает наличие множества переменных. Каждый вид кормового ингредиента имеет свой цикл цен и колебания цен. При значительных колебаниях общая стоимость корма может изменяться на более чем 15 процентов, что оказывает значительное влияние.

Стоимость кормов колеблется, но цены на молочные продукты на длительный срок относительно стабильны. В результате, при неизменных условиях, общая прибыль может значительно колебаться исключительно из-за изменения стоимости корма.

Чтобы избежать таких колебаний, необходимо учесть возможность складирования большего количества ингредиентов при низких ценах. Однако при складировании также нужно учитывать, действительно ли цена достигла дна, и какое количество корма следует закупить с учетом текущей скорости потребления.

Если у нас будет способ точно прогнозировать потребление корма и совмещать его с общим тенденцией цен, чтобы предложить лучшее время и количество корма для закупки, мы сможем снизить затраты и повысить эффективность на ферме.

Ясно, что эти проблемы непосредственно связаны с целью клиента по повышению эффективности работы фермы, и методы заключаются в освобождении рабочей силы, увеличении производства и снижении затрат. Исходя из обсуждений трудностей и ценности решения каждой проблемы, мы выбрали увеличение производства как отправную точку и приоритизировали решение проблемы хромых коров.

Исследование

Перед обсуждением технологии требовалось провести исследование. Исследование было проведено совместно командой клиента AWS, Инновационным центром генеративного ИИ AWS, отвечающим за модели алгоритмов машинного обучения, и AWS AI Shanghai Lablet, предоставляющим консультации по алгоритмам в области последних исследований компьютерного зрения, а также командой экспертов фермеров из New Hope Dairy. Исследование было разделено на несколько частей:

• Понимание традиционного бумажного метода идентификации хромых коров и разработка базового понимания того, что такое хромые коровы.
• Подтверждение существующих решений, включая используемые на фермах и в отрасли.
• Проведение исследования условий фермы для понимания физической ситуации и ограничений.

Изучая материалы и наблюдая видео на месте, команды получили базовое представление о хромых коровах. Читатели также могут получить представление о позе хромых коров через анимированное изображение ниже.

В отличие от относительно здоровой коровы.

Хромые коровы имеют видимые различия в осанке и походке по сравнению со здоровыми коровами.

Что касается существующих решений, большинство ранчо полагается на визуальный осмотр ветеринаров и питательных специалистов для выявления хромых коров. В отрасли существуют решения, которые используют носимые педометры и акселерометры для идентификации, а также решения, которые используют разделенные весоизмерительные мосты для идентификации, но оба они относительно дорогие. Для крайне конкурентной молочной промышленности нам нужно минимизировать затраты на идентификацию, а также затраты и зависимость от неуниверсальных оборудования.

После обсуждения и анализа информации с ветеринарами и питательными специалистами ранчо, эксперты Центра инноваций AI-генеративного ИИ AWS решили использовать компьютерное зрение (CV) для идентификации, полагаясь только на обычное оборудование: гражданские системы видеонаблюдения, которые не добавляют никаких дополнительных нагрузок на коров и снижают затраты и сложности использования.

После принятия этого решения мы посетили ферму VoAGI-размера с тысячами коров на месте, исследовали условия на ранчо и определили место и угол установки камеры.

Начальное предложение

Теперь, к решению. Ядро нашего решения, основанного на CV, состоит из следующих шагов:

• Идентификация коровы: Определение нескольких коров на одном кадре видео и пометка положения каждой коровы.
• Отслеживание коров: Во время записи видео нам необходимо непрерывно отслеживать коров с изменением кадров и присваивать каждой корове уникальный номер.
• Пометка осанки: Сокращение размерности движений коров, преобразование изображений коров в помеченные точки.
• Выявление аномалий: Определение аномалий в динамике помеченных точек.
• Алгоритм определения хромоты коровы: Нормализация аномалий для получения показателя, определяющего степень хромоты коровы.
• Определение порога: Получение порога на основе экспертных оценок.

Согласно суждению экспертов Центра инноваций AI-генеративного ИИ AWS, первые несколько шагов являются универсальными требованиями, которые могут быть решены с помощью открытых моделей, в то время как последующие шаги требуют использования математических методов и вмешательства экспертов.

Трудности в решении

Для балансировки стоимости и производительности мы выбрали модель yolov5l, предварительно обученную модель VoAGI-размера для распознавания коров, с шириной входа 640 пикселей, которая обеспечивает хорошее значение для этой сцены.

В то время как YOLOv5 отвечает за распознавание и пометку коров на одном изображении, на самом деле видео состоит из нескольких изображений (кадров), которые постоянно меняются. YOLOv5 не может определить, что коровы на разных кадрах принадлежат одному и тому же животному. Для отслеживания и определения местоположения коровы на нескольких изображениях необходима другая модель, называемая SORT.

SORT означает простое онлайн-отслеживание в режиме реального времени, где онлайн означает, что модель учитывает только текущий и предыдущий кадры для отслеживания без учета других кадров, а режим реального времени означает, что она может немедленно определить идентификацию объекта.

После разработки SORT многие инженеры реализовали и оптимизировали его, что привело к разработке OC-SORT, которая учитывает внешний вид объекта, DeepSORT (и его улучшенная версия, StrongSORT), которая включает внешность человека, и ByteTrack, которая использует двухфазное объединение ассоциаций для учета слабого распознавания. После тестирования мы обнаружили, что для нашей сцены алгоритм отслеживания внешности DeepSORT подходит лучше для людей, чем для коров, и точность отслеживания ByteTrack немного ниже. В результате мы в конечном итоге выбрали OC-SORT в качестве нашего алгоритма отслеживания.

Далее мы используем DeepLabCut (DLC для краткости) для пометки скелетных точек коров. DLC – это безмаркерная модель, что означает, что хотя разные точки, такие как голова и конечности, могут иметь различные значения, из модели DLC они все являются просто точками, и нам лишь требуется пометить точки и обучить модель.

Это приводит к новому вопросу: сколько точек мы должны пометить на каждой корове и где мы должны их пометить? Ответ на этот вопрос влияет на объем работы по маркировке, обучению и последующей эффективности вывода. Чтобы решить эту проблему, мы должны сначала понять, как определить хромоту коров.

<!–На основе наших исследований и отзывов наших экспертов, ламы коровы на видео обладают следующими характеристиками:

• Приподнятая спина: Шея и спина изгибаются, образуя треугольник с основанием шейного позвонка (поднятая спина).
• Частое кивание: Каждый шаг может вызывать потерю равновесия или скольжение коровы, что приводит к частому киванию головой.
• Нестабильная походка: Ходьба коровы меняется через несколько шагов с небольшими паузами.

Однозначно определить характеристики приподнятой спины, кивания и нестабильной походки помогло маркирование только семи точек на коровах (одна на голове, одна у основания шеи и пять на спине). Теперь, у нас есть точки определения и мы также можем распознавать нестабильные модели походки.

Затем мы используем математические выражения для представления результатов определения и создания алгоритмов.

Определение этих проблем для человека несложно, но точные алгоритмы необходимы для компьютерного определения. Например, как программа может знать степень изгиба спины коровы, имея набор координат точек спины коровы? Как она может определить, что корова кивает головой?

Относительно изгиба спины, мы сперва рассматриваем коровью спину как угол, и затем находим вершину этого угла, позволяя нам рассчитать угол. Проблема заключается в том, что у позвоночника может быть двунаправленная кривизна, что затрудняет определение вершины этого угла. Для решения этой проблемы требуется применить другие алгоритмы.

Что касается кивания головы, мы сначала рассмотрели использование расстояния Фре́ше для определения кивания коровы путем сравнения различий в кривой общего положения коровы. Однако, проблема заключается в том, что костные точки коровы могут быть смещены, что приводит к большому расстоянию между похожими кривыми. Чтобы решить эту проблему, необходимо вычесть положение головы относительно рамки распознавания и нормализовать его.

После нормализации положения головы возникает новая проблема. На изображении ниже график слева показывает изменение положения головы коровы. Мы видим, что из-за проблем с точностью распознавания положения точки головы она будет немного дрожать. Нам нужно устранить эти небольшие движения и найти относительно большую тенденцию движения головы. Здесь требуется знание сигнальной обработки. Используя фильтр Савицкого-Голея, мы можем сгладить сигнал и получить его общую тенденцию, что упростит нам определение кивания, как показано оранжевой кривой на графике справа.

Кроме того, после десятков часов распознавания видео мы обнаружили, что некоторые коровы с чрезвычайно сильным изгибом спины на самом деле не имели опущенную спину. Дальнейшее исследование показало, что это связано с тем, что большинство коров, используемых для обучения модели DLC, были в основном черными или черно-белыми, и на их теле было немного коров, которые были в основном белыми или почти чисто белыми, что привело к неправильному распознаванию модели, когда имелись большие белые зоны на их теле, как показано красной стрелкой на изображении ниже. Это может быть исправлено путем дальнейшего обучения модели.

Помимо решения вышеуказанных проблем, существуют и другие общие проблемы, которые нужно решить:

• В кадре видео существуют две траектории, и коровы, находящиеся на расстоянии, также могут быть распознаны, что вызывает проблемы.
• Траектории на видео также имеют определенную кривизну, и длина тела коровы сокращается, когда корова находится по бокам пути, что может приводить к неправильному определению положения коровы.
• Из-за перекрытия нескольких коров или закрытия оградой, одна и та же корова может быть идентифицирована как две разные.
• Из-за параметров трекинга и случайных пропусков кадров камерой, невозможно правильно отслеживать коров, что приводит к проблемам с определением идентификатора.

В краткосрочной перспективе, основываясь на согласовании с New Hope Dairy по доставке минимально жизнеспособного продукта и последующему внесению изменений, эти проблемы обычно могут быть решены с помощью алгоритмов исключительного анализа в сочетании с фильтрацией уверенности, и если их невозможно решить, они становятся недействительными данными, что требует от нас выполнить дополнительное обучение и непрерывно вносить изменения в наши алгоритмы и модели.

В долгосрочной перспективе, AWS AI Shanghai Lablet предлагает будущие экспериментальные предложения для решения вышеуказанных проблем на основе их исследований, связанных с объектами: Bridging the Gap to Real-World Object-Centric Learning и Self-supervised Amodal Video Object Segmentation. Кроме того, помимо недействительных данных-выбросов, проблемы также могут быть решены разработкой более точных моделей на уровне объектов для оценки положения тела, амодальной сегментации и контролируемого отслеживания. Однако, для выполнения этих задач традиционные визионные конвейеры обычно требуют обширной разметки. Обучение, сфокусированное на объектах, направлено на решение проблемы привязки пикселей к объектам без дополнительных указаний. Процесс привязки не только обеспечивает информацию о местоположении объектов, но и приводит к созданию надежных и адаптируемых представлений объектов для последующих задач. Поскольку обучение, сфокусированное на объектах, ориентировано на самообучение или обучение с ограниченной разметкой, мы можем улучшить эффективность без значительного увеличения затрат на разметку для наших клиентов.

После решения серии проблем и объединения оценок, полученных от ветеринара и питательного представителя фермы, мы получили комплексную оценку хромоты коров, которая помогает идентифицировать коров с разными степенями хромоты, такими как тяжелая, умеренная и легкая, а также может идентифицировать несколько атрибутов позы тела коров, что помогает в дальнейшем анализе и оценке.

В течение нескольких недель мы разработали комплексное решение для идентификации хромых коров. Аппаратная камера для этого решения стоит всего 300 юаней, а пакетная обработка Amazon SageMaker при использовании экземпляра g4dn.xlarge занимает около 50 часов для 2 часов видеозаписи, в общей сложности стоимость составляет всего 300 юаней. При переходе в производство, если каждую неделю обнаруживают пять серий коров (при условии около 10 часов работы) и учитывают сохраненное видео и данные, ежемесячная стоимость обнаружения для ранчо размером VoAGI с несколькими тысячами коров составляет менее 10 000 юаней.

В настоящее время наша модель машинного обучения работает по следующему процессу:

1. Захватывается исходное видео.
2. Коровы обнаруживаются и идентифицируются.
3. Каждая корова отслеживается, и определяются ключевые точки.
4. Анализируется движение каждой коровы.
5. Определяется оценка хромоты.

Развертывание модели

Ранее мы описали решение для идентификации хромых коров, основанное на машинном обучении. Теперь нам нужно развернуть эти модели на SageMaker. Как показано на следующей фигуре:

• Сначала мы использовали AWS Serverless Video Streaming Solution для получения видео в реальном времени и сохранения его в Amazon Simple Storage Service (Amazon S3).
• Затем мы использовали Amazon EventBridge для установки запланированных задач для пакетной обработки SageMaker. Клиенту не требуются результаты в режиме реального времени, поэтому пакетная обработка может дополнительно повысить эффективность экземпляра GPU и снизить затраты.
• Во время пакетной обработки SageMaker получает образ docker из Amazon Elastic Container Registry (Amazon ECR) и видеоданные из ведра S3. Затем начинается процесс вывода результатов, которые сохраняются в ведре S3.

Внедрение в бизнес

Конечно, то, что мы обсудили до сих пор, является только основой нашего технического решения. Чтобы интегрировать всё решение в бизнес-процесс, мы также должны решить следующие проблемы:

• Обратная связь по данным: Например, мы должны предоставить ветеринарам интерфейс для фильтрации и просмотра хромых коров, которых необходимо обработать, и собирать данные в процессе для использования в качестве тренировочных данных.
• Идентификация коровы: После того, как ветеринар обнаруживает хромую корову, ему также необходимо знать её идентификацию, такую как номер и загон.
• Определение местоположения коровы: В загоне с сотнями коров быстро найти нужную корову.
• Добыча данных: Например, выяснить, как степень хромоты влияет на кормление, руминирование, отдых и молокоотдачу.
• Основано на данных: Например, определить генетические, физиологические и поведенческие особенности хромых коров для достижения оптимального разведения и размножения.

Только решая эти проблемы, решение действительно может решить бизнес-проблему, и собранные данные могут создавать долгосрочную ценность. Некоторые из этих проблем являются проблемами интеграции системы, а другие – проблемами интеграции технологии и бизнеса. В будущих статьях мы разделим дополнительную информацию о этих проблемах.

Резюме

В этой статье мы кратко объяснили, как командa AWS Customer Solutions быстро инновирует на основе бизнеса клиента. Этот механизм имеет несколько характеристик:

• Ориентированность на бизнес: Приоритетом является понимание отрасли клиента и бизнес-процессов на месте и лично перед обсуждением технологии, а затем углубление в проблемы клиента, вызовы и проблемы для выявления важных вопросов, которые можно решить с помощью технологии.
• Немедленная доступность: Предоставление простого, но полного и использования качественного прототипа непосредственно клиенту для тестирования, проверки и быстрой итерации в течение недель, а не месяцев.
• Минимальные затраты: Минимизировать или даже устранить затраты клиента до того, как ценность будет действительно подтверждена, избегая беспокойства о будущем. Это соответствует принципу руководства франкости AWS.

В нашем коллаборативном инновационном проекте с молочной отраслью мы не только начинали с бизнес-позиции для выявления конкретных бизнес-проблем с экспертами по бизнесу, но и проводили местные исследования на фермах и фабриках с клиентом. Мы определяли размещение камер на месте, устанавливали и развертывали камеры, а также внедряли видеопотоковое решение. Эксперты из AWS Generative AI Innovation Center анализировали требования клиента и разработали алгоритм, который затем был инженерно реализован решающим архитектором для всего алгоритма.

С каждым выводом мы могли получать тысячи разложенных и помеченных видео ходьбы коровы, каждое с оригинальным идентификатором видео, идентификатором коровы, оценкой хромоты и различными подробными показателями. Полная логика вычисления и сырые данные о ходе также сохранялись для последующей оптимизации алгоритма.

Данные о хромоте можно использовать не только для раннего вмешательства ветеринаров, но и в комбинации с данными молокоотдачи машин для кросс-анализа, предоставляя дополнительное измерение проверки и отвечая на дополнительные вопросы бизнеса, такие как: какие физические характеристики коров с самым высоким удоем? Как влияет хромота на молокоотдачу у коров? Какова основная причина хромых коров, и как её можно предотвратить? Эта информация предложит новые идеи для фермерской деятельности.

История об идентификации хромых коров заканчивается здесь, но история инновации на фермах только начинается. В следующих статьях мы продолжим обсуждать, как мы тесно сотрудничаем с клиентами для решения других задач.