Избегайте переобучения в нейронных сетях глубокий погружение

Как избежать переобучения в глубоком погружении нейронных сетей

Узнайте, как реализовать техники регуляризации для повышения производительности и предотвращения переобучения нейронной сети

При обучении глубокой нейронной сети часто бывает проблематично достичь одинаковой производительности как на тренировочном, так и на валидационном наборе данных. Значительно более высокая ошибка на валидационном наборе является явным признаком переобучения: сеть стала слишком специализированной на тренировочных данных. В этой статье я предоставляю всестороннее руководство о том, как обойти эту проблему.

Переобучение нейронных сетей

При работе с любым приложением машинного обучения важно четко понимать смещение и разброс модели. В традиционных алгоритмах машинного обучения мы говорим о балансе смещения и разброса, который заключается в борьбе за минимизацию как разброса, так и смещения модели.

Для уменьшения смещения модели (т.е. ее ошибки от ошибочных предположений) нам нужна более сложная модель. Напротив, уменьшение разброса модели (чувствительность модели к изменениям в тренировочных данных) подразумевает более простую модель. Очевидно, что баланс смещения и разброса, в традиционном машинном обучении, происходит из конфликта необходимости одновременно использовать и более сложную, и более простую модель.

В эпоху глубокого обучения у нас есть инструменты, чтобы уменьшить только разброс модели, не повредив смещение модели или, наоборот, чтобы уменьшить смещение, не увеличивая разброс.

• Сколько времени потребуется, чтобы освоить науку о данных?
• Обучение и применение пользовательской модели Detectron2 для обнаружения объектов с использованием документов PDF (Часть 1 Обучение)
• Введение в манипуляцию данными в R с использованием {dplyr}

Перед тем, как исследовать различные техники, используемые для предотвращения переобучения нейронной сети, важно прояснить, что означает высокий разброс или высокое смещение.

Рассмотрим обычную задачу классификации изображений, такую как распознавание панд в изображении, и задумаемся о нейронной сети, которая выполняет эту задачу. Мы можем уверенно утверждать, что человек может выполнить эту задачу с практически 0% ошибкой. Следовательно, это разумная точка отсчета для точности сети распознавания изображений. После обучения нейронной сети на тренировочном наборе и оценки ее производительности как на тренировочном, так и на валидационном наборе данных, мы можем получить различные результаты: