Непрерывное обучение на краю

Continuous learning on the edge

.fav_bar { float:left; border:1px solid #a7b1b5; margin-top:10px; margin-bottom:20px; } .fav_bar span.fav_bar-label { text-align:center; padding:8px 0px 0px 0px; float:left; margin-left:-1px; border-right:1px dotted #a7b1b5; border-left:1px solid #a7b1b5; display:block; width:69px; height:24px; color:#6e7476; font-weight:bold; font-size:12px; text-transform:uppercase; font-family:Arial, Helvetica, sans-serif; } .fav_bar a, #plus-one { float:left; border-right:1px dotted #a7b1b5; display:block; width:36px; height:32px; text-indent:-9999px; } .fav_bar a.fav_de { background: url(../images/icons/de.gif) no-repeat 0 0 #fff } .fav_bar a.fav_de:hover { background: url(../images/icons/de.gif) no-repeat 0 0 #e6e9ea } .fav_bar a.fav_acm_digital { background:url(‘../images/icons/acm_digital_library.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_acm_digital:hover { background:url(‘../images/icons/acm_digital_library.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_pdf { background:url(‘../images/icons/pdf.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_pdf:hover { background:url(‘../images/icons/pdf.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_more .at-icon-wrapper{ height: 33px !important ; width: 35px !important; padding: 0 !important; border-right: none !important; } .a2a_kit { line-height: 24px !important; width: unset !important; height: unset !important; padding: 0 !important; border-right: unset !important; border-left: unset !important; } .fav_bar .a2a_kit a .a2a_svg { margin-left: 7px; margin-top: 4px; padding: unset !important; }

Коннекционные глубокие нейронные сети (DNN) проводят длительное время, изучая обширные базы данных, а затем усваивают этот опыт в постоянные системы, пригодные только для вывода на краю сети. Если в инференционную систему необходимо добавить новые задачи, они традиционно должны быть добавлены в исходную центральную базу данных, повторить процесс обучения, а затем развернуть его. Почему? Потому что оставление обучения включенным – так называемое пожизненное обучение (LL) – в уже обученной глубокой нейронной сети обычно перезаписывает части существующей инференционной системы, что имеет нежелательный побочный эффект “забывания” примеров в исходной базе данных, согласно исследованию Роберта Френча из Льежского университета (Бельгия) в его фундаментальном исследовании Катастрофическое забывание в коннекционистских сетях.

Теперь исследователи из Университета Южной Калифорнии (USC), Intel Labs и Китайского института передовых технологий (Шэньчжэнь) утверждают, что они достигли архитектуры с открытым исходным кодом, называемой Общее знание на пожизненное обучение (SKILL), которая позволяет агентам Легковесного пожизненного обучения (LLL) усваивать новые знания на краю сети, а затем делиться ими с любым количеством других агентов на краю без риска катастрофического забывания.

“Обучение на краю очень важно. Сегодня некоторые оценки говорят, что 25-30% данных Интернета поступают от краевых датчиков, что делает обучение на краю необходимостью”, – сказал Виджайкришнан Нараянан, заместитель декана по инновациям и профессор Роберта Нолла на Пенсильванском государственном университете (Penn State), который не участвовал в исследовании. “Эти исследователи провели фундаментальную работу, которая может открыть двери для обучения на краю путем обмена знаниями способами, которые раньше не пробовались. Два вклада выделяются. Во-первых, они распространили пожизненное обучение, которое может инкрементально учиться на нескольких задачах, без необходимости начинать сначала, чтобы избежать забывания. Второй, возможно, еще более долгосрочный вклад, заключается в том, что набор данных SKILL включает 102 различных типа обучения одними и теми же распределенными агентами – такими как обучение движению теней при изучении различных типов насекомых. Набор данных намного сложнее, чем простая классификация объектов, как отмечается в обзорах с открытым исходным кодом.”

• Клетки ‘осьминога’ комплексные, и именно они являются ключом к их высокому интеллекту.
• Библиотеки машинного обучения для любого проекта
• Этические аспекты в текст в речь (TTS) и искусственный интеллект (AI) акцент на безопасности данных

Безусловно, многие другие исследователи занимались проблемой пожизненного обучения без катастрофического забывания для централизованных систем, включая попытки эмулировать то, как это делает человеческий мозг, используя структурную пластичность, повторение памяти, куррикулум и передачу знаний, внутреннюю мотивацию и мультисенсорную интеграцию, как объясняется в статье Continual Lifelong Learning with Neural Networks: A Review, немецкого ученого Германа Паризи из Гамбургского университета (Германия) с коллегами из Рочестерского технологического института (Нью-Йорк) и Университета Хериот-Ватт (Эдинбург, Великобритания). Однако ни один из этих подходов, похожих на мозг, не пытался решить проблему современного консолидирования полностью распределенного обучения среди маленьких (часто работающих от батарей) агентов на краю сети.

Другие группы исследуют ту же цель обучения на краю, но все конкурирующие методы используют централизованную умную базу данных для консолидации и распределения автономного независимого обучения, происходящего среди нескольких агентов, согласно исследователям из USC, Intel и Шэньчжэньского института. В результате они несут бремя способностей к высокоскоростной связи и зависимости от централизованной архитектуры, и, как следствие, не могут достичь близкой к линейной ускорению скорости обучения SKILL при добавлении новых индивидуальных агентов.

Ключом к уникальному успеху SKILL, согласно этим исследователям, является архитектура, которая объединяет фиксированный общий ядро распознавания, встроенное в каждого агента при его производстве, а также задачно-специфические модули, которые каждый агент создает, когда он изучает новую задачу, а затем делится ими с агентами, с которыми он соединен сетью. К фиксированному ядру каждого агента добавляются новообретенные задачи, добавляя новые нейроны классификации.

Как сказал профессор компьютерных наук Лоран Итти из USC: “Впервые эта работа показывает, как полностью распределенное сообщество индивидуальных агентов может получать преимущества от обучения друг друга, сохраняя при этом свою индивидуальность при близкой к идеальной параллелизации, осваивая разнообразный набор навыков”.

Нейронные сети работают, используя свои средние слои для извлечения признаков (цвет, форма и т. д.) из объектов, представленных на входном слое. Финальный слой состоит из нейронов классификации по категориям, каждый из которых активируется уникальным набором извлеченных признаковых нейронов, к которым он присоединен с помощью взвешенных синаптических связей. SKILL работает так, что оставляет все нейроны входного, среднего и финального слоев, а также настроенные синаптические связи на своих местах, таким образом избегая забывания. Вместо этого он изучает новые категории, добавляя новые нейроны классификации для каждой новой задачи. Новые нейроны присоединяются с взвешенными синаптическими связями к существующим нейронам слоя признаков постоянного центрального ядра.

Таким образом, любой агент (с идентичным центральным ядром) может транслировать любые новые добавленные классификационные категории другим отдельным агентам, присоединяя новые нейроны классификации к общим нейронам распознавания признаков таким же образом, как и оригинальный агент-ученик. Весь сетевой агент получает возможности для пожизненного обучения без риска забывания категорий, распознаваемых оригинальным ядром распознавания или, что то же самое, любых новых добавленных категорий, распределяемых между агентами.

Чтобы доказать концепцию архитектуры SKILL, была обучена нейронная сеть с открытым исходным кодом Google на стандартном наборе данных ImageNet, состоящем из около 1 000 классов объектов, извлеченных из 1 281 167 обучающих изображений ImageNet (плюс 50 000 изображений для проверки и 100 000 тестовых изображений). Затем эта DNN была записана в ROM как фиксированное ядро для каждого агента на краю.

Затем агенты на краю изучили более 100 новых задач из составного набора данных из 2 041 225 примеров, разделенных на 5 033 категории, связанные с оригинальными 22 000 нейронами и 2,9 миллиона синапсов в общем центральном ядре DNN. Выходом среднего слоя извлечения признаков был вектор из 2 048 признаков, к которому были добавлены новые задачи знаний через синапсы, соединенные с новыми выходными нейронами, добавленными для каждой новой задачи. SKILL успешно изучил более 100 новых задач распознавания образов и успешно передал эти знания нескольким агентам. Итти заявил, что текущая архитектура может масштабироваться для изучения 500 новых задач классификации.

Наибольшим препятствием для масштабирования более 500 новых задач с текущей архитектурой является необходимость в маппере задач для различения новых знаний от оригинальных знаний ядра. Исследователи надеются устранить это ограничение в будущих архитектурах. Кроме того, распознавание среди сильно дифференцированных категорий изображений (например, между цветами и рентгеновскими снимками сердца) в настоящее время требует алгоритма для точной настройки входных сигналов для нейронов при переключении на новую задачу.

Итти утверждает, что прототип множественного независимого обучения SKILL превосходит своих текущих конкурентов и достигает близкого к линейному ускорению скорости обучения с каждым добавленным агентом, и обладает потенциалом для будущих модернизаций. Работа была поддержана Агентством перспективных исследовательских проектов (DARPA) США, Semiconductor Research Corp. и Офисом исследований армии США.

Р. Колин Джонсон – лауреат премии имени Киото, который работал в качестве журналиста в области технологий ​​в течение двух десятилетий.