Обзор метрик оценки обнаружения объектов

Обзор метрик обнаружения объектов

Как измерять точность моделей обнаружения объектов?

При оценке производительности детектора объектов мы используем две основные метрики: FPS (количество кадров в секунду) для измерения скорости обнаружения сети и mAP (средняя средняя точность) для измерения точности сети. В этой статье мы рассмотрим каждую из них, обсудим их значение и способы их расчета.

Содержание:

  1. FPS для измерения скорости обнаружения
  2. mAP для измерения точности сети2.1. Пересечение по объединению (IoU)2.2. Кривая точность-полнота (PR-кривая)

1. FPS для измерения скорости обнаружения

Когда речь идет о алгоритмах обнаружения объектов, скорость обработки является важным фактором. Самой распространенной метрикой, используемой для измерения скорости обнаружения, является количество кадров в секунду (FPS). Высокое значение FPS указывает на то, что модель может быстро обрабатывать кадры, что делает ее подходящей для приложений, требующих оперативности, таких как автономные транспортные средства, системы наблюдения, робототехника и другие. С другой стороны, низкое значение FPS означает, что модель работает медленнее, что может ограничить ее применимость в некоторых реальных сценариях.

Например, Faster R-CNN работает только со скоростью 7 кадров в секунду (FPS), в то время как SSD работает со скоростью 59 FPS. В экспериментах по сравнению результатов, вы увидите, что авторы статьи указывают результаты своей сети как: «Сеть X достигает mAP величиной Y% при Z FPS». Где X – это название сети, Y – процент mAP, а Z – количество кадров в секунду.

Важно отметить, что выбор модели обнаружения объектов зависит от конкретных требований приложения. Некоторые приложения могут приоритезировать точность над скоростью, тогда как другие могут предпочитать более быструю обработку для реального времени. Следовательно, исследователи и разработчики часто используют FPS в качестве важного фактора при выборе модели для конкретного случая использования.

2. mAP для измерения точности сети

Самая распространенная метрика оценки, используемая в задачах распознавания объектов, это ‘mAP’, что означает среднюю среднюю точность. Это процентное значение от 0 до 100, и обычно более высокие значения…