Перенос обучения для начинающих

Блеск и мода Персональный путеводитель для начинающих

Практическое руководство по переносу знаний в классификации изображений

В этой статье мы рассмотрим концепцию переноса знаний, а также приведем пример его использования в задаче классификации изображений.

Что такое перенос знаний?

Перенос знаний – это техника глубокого обучения, при которой предварительно обученные модели, обученные на обширных наборах данных, применяются для решения новых задач с ограниченным количеством размеченных данных.

Это включает использование предварительно обученной модели, которая изучила богатые и обобщенные признаковые представления изначальной задачи, и дальнейшую тонкую настройку модели на целевую задачу.

К примеру, часто используются большие наборы данных, такие как ImageNet, содержащие миллионы изображений различных классов для обучения глубоких сверточных нейронных сетей, таких как VGGNet или ResNet.

• Топ-10 проектов Tableau для науки о данных
• Разведочный анализ данных что мы знаем о каналах YouTube
• Beta Распределения Основа Байесовской Калибровки

При обучении этих нейронных сетей на ImageNet, модели извлекают мощные и информативные признаки. Этот этап обучения называется предварительным обучением, и эти модели настроены на классификацию изображений в задаче ImageNet. Источником такого обучения является задача с использованием ImageNet.

Для переноса знаний на новую задачу, которую мы называем целевой задачей, сначала нам необходимо иметь размеченный набор данных, называемый целевым набором данных. Целевой набор данных часто намного меньше, чем исходный набор данных. В нашем случае исходный набор данных был огромным (содержал 14 миллионов изображений).

Затем мы берем эти предварительно обученные модели, удаляем последний слой классификации и добавляем новый слой классификатора в конце, а затем обучаем их на нашем целевом наборе данных. Во время обучения мы замораживаем все слои, кроме последнего слоя, что позволяет обучать только небольшое количество параметров и, следовательно, обучение происходит быстро. И вуаля! Мы выполнили перенос знаний.

Второй этап обучения модели называется тонкой настройкой. Как мы видели ранее, во время тонкой настройки большая часть предварительно обученных весов замораживается, и только финальные слои адаптируются к новому набору данных.

Преимущества переноса знаний

Основные преимущества переноса знаний заключаются в возможности использования уже разработанных предварительно обученных моделей, что позволяет избежать обучения больших моделей с нуля. Это также позволяет снизить потребность в больших…