Повышение надежности машинного обучения как атипичность улучшает производительность модели и определение неопределенности

Несоответствие как фактор улучшения производительности модели машинного обучения и определения неопределенности

“`

Объект считается типичным, если он похож на другие предметы своей категории. Например, пингвин – это необычная птица, в то время как голубь и воробей являются обычными птицами. Несколько исследований показывают, что типичность является важным элементом знания о категории. Человек, например, был продемонстрирован, что быстрее узнает, вспоминает и связывает обычные объекты. Аналогично, эвристика типичности означает склонность людей опираться на то, насколько распространено то или иное явление, при принятии суждений. Хотя этот познавательный биас помогает принимать быстрые решения, он может привести к неточным оценкам неопределенности. Например, можно переоценить вероятность обычных событий или недооценить степень неопределенности при суждениях о необычных событиях.

Хотя измерение степени неопределенности в человеческих суждениях представляет сложность, методы машинного обучения дают уверенность в своих прогнозах. Тем не менее, одна только уверенность может не всегда быть достаточной для определения достоверности прогноза. Так, низкая степень уверенности может быть результатом четко указанной неопределенности или недостаточного представительства выборки в тренировочном распределении. Аналогично, прогноз с высокой степенью уверенности может быть точным или некорректированным. Их основное предложение заключается в том, что для понимания охвата тренировочного распределения или предсказуемости прогнозов модели должны измерять как нетипичность, так и уверенность. Тем не менее, многие приложения машинного обучения используют предварительно обученные модели, которые не предоставляют никакой меры нетипичности. Они предлагают только уровни уверенности.

Исследовательская группа из университета Стэнфорда и университета Рутгерс изучает связь между степенью нетипичности (редкостью) выборки или класса и точностью прогнозов модели. Вот их вклад:

• Представляя сущность стохастик в машинном обучении
• Прогнозы по инфраструктуре на 2024 год
• Как мосты Шредингера превосходят модели диффузии в синтезе речи из текста (TTS)?

1. Определение качества прогнозов: В ходе этого исследования команда показывает, что с помощью базовой нетипичности оценщики могут оценивать, насколько хорошо прогнозирующая модель соответствует фактическим шансам наступления определенных событий. Даже логистическая регрессия и нейронные сети могут иметь неправильную калибровку уже с самого начала. Здесь, нетипичность может давать информацию о том, когда вера в модель является достоверной. В ходе тщательного тестирования и теоретического исследования исследовательская группа показывает, что нетипичность приводит к прогнозам низкого качества. В частности, исследовательская группа демонстрирует, что для нетипичных входных данных и выборок из нетипичных классов делаются прогнозы с гораздо большим чувством верности и худшей точностью.

2. Повышение точности и калибровки: Путем модификации вероятностной модели калибровочные техники устраняют некалибровку. Исследовательская группа показала, что моделям требуются различные корректировки на основе нетипичных входных данных и классов, и что нетипичность играет важную роль в рекалибровке. Исследовательская группа предлагает простую технику под названием “Atypicality-Aware Recalibration” на основе этих результатов. Их метод перекалибровки легко реализуется и учитывает нетипичность входных данных и классов. Исследовательская группа показала, что добавление нетипичности к техникам рекалибровки повышает точность прогноза и количественную оценку неопределенности. Кроме того, исследовательская группа показала, что учет нетипичности может улучшить производительность в нескольких подгруппах с разным оттенком кожи без необходимости получения аннотаций группы в исследовании случая, классифицирующем кожные поражения.

3. Повышение наборов прогнозов: Наборы прогнозов с высоким шансом включения метки – еще один способ оценки неопределенности. В данном случае исследовательская группа рассматривает нетипичность текущих подходов и демонстрирует, что низкая уверенность или нетипичные выборки могут привести к неэффективности наборов прогнозов. Исследовательская группа показывает возможность улучшения наборов прогнозов с помощью нетипичности.

В целом, исследовательская группа предлагает учитывать нетипичность в моделях, и демонстрирует, что нетипичные оценщики, простые в использовании, могут быть чрезвычайно ценными.

“`