Это исследование искусственного интеллекта решает проблему потери пластичности в системах глубокого обучения при использовании в условиях непрерывного обучения.

Это исследование решает проблему потери пластичности в системах глубокого обучения при непрерывном обучении.

Современные алгоритмы глубокого обучения сейчас сосредоточены на проблемных средах, где обучение происходит только один раз на значительной коллекции данных, никогда больше – все первые победы глубокого обучения в распознавании голоса и классификации изображений использовали такие настройки обучения. Повторные буферы и пакетирование были добавлены позже в глубокое понимание при применении к обучению с подкреплением, что делает его очень близким к настройке обучения один раз. Также для обучения последних систем глубокого обучения, таких как GPT-3 и DallE, использовался большой пакет данных. В таких ситуациях наиболее популярным подходом было собирать данные непрерывно, а затем периодически создавать новую сеть с нуля в конфигурации обучения. Конечно, во многих приложениях распределение данных меняется со временем, и обучение должно продолжаться каким-либо образом. Современные методы глубокого обучения были разработаны с учетом настройки обучения один раз.

В отличие от этого, постоянная настройка обучения фокусируется на непрерывном обучении на основе новых данных. Вариант непрерывного обучения идеален для задач, где система обучения должна работать с динамическим потоком данных. Например, представьте себе робота, который должен ориентироваться в доме. Если использовать настройку обучения один раз, роботу пришлось бы переобучаться с нуля или с риском стать бесполезным каждый раз, когда менялась планировка дома. Если планировка менялась регулярно, необходимо было бы переобучаться с нуля. С другой стороны, робот мог бы легко учиться из новой информации и непрерывно адаптироваться к изменениям в доме в рамках постоянного обучения. Значимость пожизненного обучения за последние годы выросла, и проводятся все больше специализированных конференций, посвященных этой теме, таких как Конференция по агентам пожизненного обучения (CoLLAS).

Они подчеркивают среду непрерывного обучения в своем эссе. Когда сталкиваются с новыми данными, системы глубокого обучения часто теряют большую часть того, что они ранее освоили, это состояние называется “катастрофическим забыванием”. Другими словами, глубокие методы обучения не сохраняют стабильность в задачах непрерывного обучения. В конце 1900-х годов ранние нейронные сети были первыми, кто продемонстрировал это поведение. Катастрофическое забывание в последнее время привлекло новый интерес из-за развития глубокого обучения, так как было написано несколько статей об сохранении стабильности в глубоком непрерывном обучении.

• Исследователи из Google и Georgia Tech представляют DiffSeg простой метод послеобработки искусственного интеллекта для создания масок сегментации
• Исследователи S-Lab и NTU предлагают Scenimefy новая полу-надзорная рамка перевода изображений в изображения, которая сокращает разрыв в автоматическом создании высококачественной анимационной сцены из реальных изображений.
• Исследователи из Принстонского университета представляют MeZO эффективный по памяти оптимизатор нулевого порядка, который может настроить крупномасштабные модели языка (LLM).

Возможность продолжать обучение на основе нового материала отличается от катастрофического забывания и, возможно, более важна для непрерывного обучения. Они называют эту способность “пластичностью”. Системы непрерывного обучения должны сохранять пластичность, потому что она позволяет им адаптироваться к изменениям в потоках данных. Если поток данных меняется, непрерывно обучающиеся системы, которые теряют гибкость, могут стать бесполезными. В своем эссе они подчеркивают проблему потери гибкости. В этих исследованиях использовалась конфигурация, в которой сети вначале показывалась коллекция примеров в течение определенного числа эпох, после чего обучающая выборка пополнялась новыми примерами, и цикл обучения повторялся в течение дополнительного числа эпох. Учитывая число эпох, они обнаружили, что ошибка для случаев в первой обучающей выборке была ниже, чем для вновь добавленных примеров. Эти публикации предоставили доказательства того, что потеря гибкости, вызванная глубоким обучением и алгоритмом обратного распространения ошибки, на котором оно основано, является распространенным явлением.

Когда предлагалась новая задача, в конфигурацию сети добавлялись новые выходы, называемые головами, и количество выходов увеличивалось по мере встречи новых задач. Таким образом, эффекты влияния старых головок перемешивались с последствиями потери пластичности. По словам Чаудри и др., потеря пластичности была незначительной, когда старые головы удалялись в начале новой задачи, что указывает на то, что главной причиной потери пластичности, которую они наблюдали, было вмешательство старых голов. Тот факт, что ранее исследователи использовали только десять задач, не позволил им измерить потерю пластичности, которая происходит, когда методы глубокого обучения сталкиваются с длинным списком задач.

Хотя результаты этих публикаций указывают на то, что системы глубокого обучения потеряли некоторую свою важную адаптивность, никто еще не показал, что непрерывное обучение потеряло пластичность. В области обучения с подкреплением, где недавние работы продемонстрировали значительную потерю пластичности, больше доказательств потери пластичности в современном глубоком обучении. Показав, что начальное обучение в задачах обучения с подкреплением может негативно сказываться на последующем обучении, Нишикин и др. ввели термин “приматический эффект”.

Учитывая, что обучение с подкреплением фундаментально является непрерывным в результате изменений политики, этот результат может быть обусловлен потерей гибкости глубоких нейронных сетей в ситуациях, когда обучение непрерывно. Кроме того, Лайл и др. показали, что некоторые агенты глубокого обучения с подкреплением могут потерять свою способность усваивать новые навыки. Это значимые данные, но из-за сложности современного глубокого обучения с подкреплением сложно сделать окончательные выводы. Эти исследования показывают, что системы глубокого обучения теряют гибкость, но не дают полного объяснения этого явления. В эти исследования входят работы из психологической литературы конца столетия и более современные работы в области машинного обучения и обучения с подкреплением. В этом исследовании ученые из отдела вычислительной науки Университета Альберты и Исследовательского института искусственного интеллекта CIFAR предоставляют более окончательный ответ на потерю пластичности в современном глубоком обучении.

Они демонстрируют, что проблемы постоянного обучения с учителем вызывают потерю пластичности глубоких нейронных сетей и что эта потеря пластичности может быть серьезной. В непрерывной задаче обучения с учителем на наборе данных ImageNet, включающей сотни обучающих проб, они в первую очередь показывают, что глубокое обучение страдает от потери пластичности. Сложность и связанная с ней путаница, которая всегда возникает в обучении с подкреплением, исчезают, когда вместо этого используются задачи обучения с учителем. Мы также можем определить полную величину потери пластичности благодаря сотням задач, которые у нас есть. Затем они доказывают универсальность отсутствия гибкости глубокого обучения на широком спектре гиперпараметров, оптимизаторов, размеров сетей и функций активации, используя две вычислительно менее затратные задачи (вариацию набора данных MNIST и медленно меняющуюся задачу регрессии). После демонстрации серьезности и общности потери гибкости в глубоком обучении они хотят более глубоко понять его истоки.