Обучение без присмотра с использованием проекционных головок

Самостоятельное обучение с проекционными головками новые возможности

Улучшите производительность с помощью неразмеченных данных

“Self-supervised” by Daniel Warfield using p5.js

В этой статье вы узнаете о самообучении и том, как оно может быть использовано для повышения производительности модели, а также о роли проекционных головок в процессе самообучения. Мы рассмотрим интуицию, некоторую литературу и пример компьютерного зрения в PyTorch.

Кому это полезно? Любому, у кого есть неразмеченные и расширяемые данные.

Насколько продвинута эта статья? Начало этой статьи концептуально доступно для начинающих, но пример более сфокусирован на промежуточных и продвинутых специалистах по обработке данных.

Предварительные требования: Высокий уровень понимания сверточных и плотных сетей.

Код: Полный код можно найти здесь.

Самообучение против других подходов

Обычно, когда кто-то думает о моделях, он разделяет их на два лагеря: обучение с учителем и обучение без учителя.

  • Обучение с учителем – это процесс обучения модели на основе размеченной информации. Например, при обучении модели предсказывать, содержат ли изображения кошек или собак, сначала составляется набор изображений, помеченных как кошки или собаки, затем модель обучается (с использованием градиентного спуска) различать изображения с кошками и собаками.
  • Обучение без учителя – это процесс предоставления некоторой модели неразмеченной информации и извлечения полезных выводов через какую-то трансформацию данных. Классическим примером обучения без учителя является кластеризация, при которой из неразгруппированных данных извлекаются группы информации на основе локального положения.

Самообучение находится где-то посередине. Самообучение использует метки, сгенерированные программно, а не людьми. В некотором смысле оно похоже на обучение с учителем, потому что модель учится на основе размеченных данных, но в другом смысле оно похоже на обучение без учителя, потому что обучающему алгоритму не предоставляются метки. Поэтому оно называется самообучением.

Самообучение (SSL) стремится создать полезные представления признаков без доступа к размеченным данным человека. – К Гупта и др.

Самообучение в…