Исследователи из ИТУ Дании представляют нейроразвивающие программы сокращение разрыва между биологическим ростом и искусственными нейронными сетями.

Ученые из ИТУ Дании представляют программы нейроразвития для сокращения разрыва между биологическим ростом и искусственными нейронными сетями

Человеческий мозг – это чрезвычайно сложный орган, часто считающийся одной из самых тонких и утонченных систем в известной вселенной. Мозг иерархически организован, с нижестоящих областей обработки сенсорной информации передается информация в высшие когнитивные и принятия решений регионы. Эта иерархия позволяет интегрировать знания и сложные поведенческие реакции. Мозг обрабатывает информацию параллельно, при этом различные области и сети одновременно работают над различными аспектами восприятия, познания и управления движениями. Это параллельное обработка способствует его эффективности и адаптируемости.

Можем ли мы применять эти методы иерархической организации и параллельной обработки в глубоком обучении? Да, это область исследования, называемая Нейронные сети. Исследователи из Копенгагенского университета представляют графовую нейронную сеть, в которой рост сети управляется другой сетью, работающей в каждом нейроне. Они называют это Нейрональной Развивающей Программой (NDP).

Некоторые биологические процессы включают отображение компактного генотипа на более масштабный фенотип. Вдохновленные этим, исследователи построили методы косвенного кодирования. При косвенном кодировании описание решения сжимается. Это позволяет повторно использовать информацию, и финальное решение будет содержать больше компонентов, чем само описание. Однако эти кодировки (особенно семейство косвенного кодирования) должны быть разработаны.

• Исследователи Google DeepMind представляют Promptbreeder – систему искусственного интеллекта, которая ссылается на себя и самостоятельно развивается. Она автоматически эволюционирует эффективные, область-специфичные подсказки в заданной области.
• Сохранение ИИ на землетрясениях исследователи представили модель глубокого обучения для улучшения прогнозов
• Исследователи MIT представляют PFGM++ Революционное слияние физики и искусственного интеллекта для продвинутого поколения узоров

Архитектура NDP включает в себя многослойный перцептрон (MLP) и графовую автомату (GNCA). Она обновляет эмбеддинги узлов после каждого шага передачи сообщений во время фазы развития. В целом, клеточные автоматы являются математическими моделями, состоящими из сетки ячеек в одном из нескольких состояний. Эти автоматы развиваются на дискретных временных шагах на основе набора правил, которые определяют, как меняются состояния клеток со временем.

В NDP та же модель применяется к каждому элементу. Таким образом, количество параметров постоянно относительно размера графа, в котором он работает. Это дает преимущество NDP, так как она может работать с любой нейронной сетью произвольного размера или архитектуры. Нейронную сеть NDP также можно обучить с использованием любого алгоритма оптимизации черного ящика для достижения любой целевой функции. Это позволит нейронным сетям решать задачи обучения с подкреплением и классификации, а также обладать топологическими свойствами.

Исследователи также попытались оценить дифференцируемую NDP, сравнивая обученные и протестированные модели на различном количестве шагов роста. Они заметили, что для большинства задач производительность сети снижалась после определенного числа шагов роста. Причиной этого наблюдения было то, что новые режимы сети становились более крупными. Необходимо автоматизировать процесс определения времени прекращения роста. Они считают, что такая автоматизация будет важным дополнением к NDP. В будущем они также хотели бы включить активность-зависимые и вознаграждениями-модулируемые методы роста и адаптации для NDP.