Понимание оценок AUC в глубину в чем суть?

Чему равно понимание AUC в глубину?

Исследование альтернативных метрик наряду с более глубокими идеями

Привет!

Сегодня мы углубимся в конкретную метрику, используемую для оценки производительности модели – оценку AUC. Но прежде, чем мы углубимся в детали, вы когда-нибудь задумывались, почему иногда неочевидные оценки необходимы для оценки производительности наших моделей?

Независимо от того, обрабатывает ли наша модель один класс или несколько классов, основная цель остается неизменной: оптимизация точных предсказаний при минимизации неверных. Чтобы исследовать эту основную цель, давайте сначала рассмотрим обязательную матрицу ошибок, включающую истинно положительные, ложно положительные, истинно отрицательные и ложно отрицательные значения.

Для любой задачи классификации или предсказания есть только два возможных результата: Истинно или Ложно.

• Искусственный интеллект спасает жизнь мужчины в Израиле
• Генеральный директор NVIDIA встречается с премьер-министром Индии Нарендрой Моди
• Навигация в отраслевом искусственном интеллекте от переходных героев к долгосрочным решениям

Следовательно, каждая метрика, разработанная для оценки производительности алгоритма предсказания или классификации, основана на этих двух показателях. Самая простая метрика, реализующая это, – Точность.

Точность

В контексте классификации и предсказания точность означает долю правильно предсказанных экземпляров среди общего числа. Это очень простая и интуитивно понятная мера предсказательной производительности модели.

Однако, достаточно ли точности?

Хотя точность является хорошей общей мерой производительности моделей, ее недостаточность становится очевидной, когда мы рассматриваем таблицу ниже, на которую мы будем часто ссылаться в этой статье. Таблица показывает метрики производительности четырех моделей, у каждой из которых относительно неоптимальные результаты, но все эти модели имеют высокую точность. Например, в первом и втором случае явно присутствует предвзятость в сторону одного класса, что приводит к плохой классификации для менее распространенного класса, но точность составляет 90%, что является весьма вводящим в заблуждение.