Метрики оценки для классификации за пределами точности
Метрики оценки для классификации за пределами точности
Развертывание матрицы путаницы, точность, полнота, F1-мера и ROC-кривая
В этой статье мы обсудим, почему точность не всегда является лучшей метрикой для оценки производительности модели, особенно в случае задач классификации, и затем мы представим альтернативные метрики, которые позволяют получить лучшее представление о том, насколько хорошо справляется наш классификатор. Мы также рассмотрим примеры, чтобы лучше понять идеологию этих метрик и получить представление о том, когда использовать что. Но прежде чем приступить к обсуждению, давайте убедимся, что у нас есть хорошее представление о некоторых основах.
Регрессия против классификации
Обучение на основе прецедентов можно грубо классифицировать на два типа: регрессия и классификация.
Регрессия: В регрессии целью модели является предсказание непрерывных значений, например, предсказание цен на дома на основе таких входных параметров, как размер, количество спален, местоположение и т. д.
Классификация: В ней предсказываются дискретные классы на основе входных параметров. Некоторые примеры классификации включают обнаружение спама в электронной почте, обнаружение заболевания, классификацию изображений и т. д.
Поскольку в случае проблем с регрессией наши целевые значения (значение, которое мы хотим предсказать) являются непрерывными, имеет смысл использовать такие метрики, как средняя абсолютная ошибка (MAE), среднеквадратичная ошибка (MSE), коэффициент детерминации и т. д. Для вычисления этих метрик требуется определение разности (также известной как ошибка или остаток) между фактическим значением и предсказанным значением для каждого экземпляра.
Однако целевые значения в классификации часто являются категориальными, и вычисление таких математических мер не является целесообразным. Поэтому нам нужно что-то другое, чтобы количественно оценить производительность наших моделей классификации, и точность – один из таких вариантов.
Что такое точность?
Один из самых простых и прямолинейных методов для оценки нашего классификатора – это посмотреть на долю экземпляров, которые он классифицировал правильно. Мы можем сделать это, просто разделив количество правильных предсказаний на общее количество экземпляров в нашем наборе данных. Это называется точность – так просто!
