Разблокирование силы разнообразия в нейронных сетях как адаптивные нейроны превосходят однородность в классификации изображений и нелинейной регрессии

Unlocking the power of diversity in neural networks adaptive neurons surpass homogeneity in image classification and non-linear regression.

Нейронная сеть – это метод в искусственном интеллекте, который обучает компьютеры обрабатывать данные таким образом, как это делает человеческий мозг. Он использует взаимосвязанные узлы или нейроны в слоистой структуре, которая напоминает человеческий мозг. Искусственные нейроны располагаются в слоях, образуя нейронные сети, которые используются для различных задач, таких как распознавание образов, классификация, регрессия и другие. Эти нейроны формируют прочные связи, изменяя числовые веса и смещения во время обучения.

Несмотря на достижения этих нейронных сетей, у них есть ограничение. Они состоят из большого количества нейронов одного типа. Количество и сила связей между этими идентичными нейронами могут изменяться до тех пор, пока сеть не научится. Однако, после оптимизации сети, эти фиксированные связи определяют ее архитектуру и функционирование, которые нельзя изменить.

В связи с этим исследователи разработали метод, который может улучшить возможности искусственного интеллекта. Он позволяет искусственному интеллекту обращаться внутрь своей структуры и настраивать свою нейронную сеть. Исследования показали, что диверсификация функций активации может преодолеть ограничения и позволить модели работать эффективно.

• Мониторинг моделей машинного обучения в производстве почему и как?
• Проблема общественного восприятия машинного обучения
• Повышение эффективности 10 декораторов, которые я использую ежедневно как технический специалист в области машинного обучения.

Они протестировали искусственный интеллект на разнообразие. Уильям Дитто, профессор физики в Университете Северной Каролины и директор Лаборатории искусственного интеллекта Нелинейной искусственной интеллекта (NAIL) в NC State, сказал, что они создали тестовую систему с нечеловеческим интеллектом, искусственным интеллектом (AI), чтобы узнать, выберет ли искусственный интеллект разнообразие перед отсутствием разнообразия и улучшит ли его выбор эффективность AI. Кроме того, он сказал, что ключевым моментом было то, что AI может обращаться внутрь и учиться тому, как он учится.

Нейронные сети, позволяющие нейронам самостоятельно учить свои функции активации, обычно характеризуются быстрой диверсификацией и лучшей производительностью по сравнению с однородными собратьями в задачах, таких как классификация изображений и нелинейная регрессия. С другой стороны, команда Дитто предоставила своему AI возможность самостоятельно определить количество, конфигурацию и силу связей между нейронами в его нейронной сети. Этот подход позволил создать подсети, состоящие из различных типов нейронов и силы связей внутри сети по мере ее обучения.

Дитто сказал, что они дали AI возможность обращаться внутрь и решать, нужно ли ему изменять состав своей нейронной сети. По сути, они дали ему ручку управления для его мозга. Таким образом, он может решать проблему, просматривать результаты и изменять тип и смесь искусственных нейронов, пока не найдет наиболее выгодный. Он назвал это мета-обучением для AI. Их AI также могло выбирать между разнообразными и однородными нейронами. Он также сказал, что они обнаружили, что AI в каждом случае выбирал разнообразие, чтобы усилить свою производительность.

Исследователи протестировали систему на стандартной числовой задаче классификации и обнаружили, что точность системы повышается с увеличением нейронов и разнообразия. Исследователи сказали, что однородный AI достиг точности 57% в идентификации чисел, тогда как мета-обучение, разнообразный AI достиг впечатляющей точности 70%.

Исследователи сказали, что в будущем они могут сосредоточиться на улучшении производительности путем оптимизации изученного разнообразия путем настройки гиперпараметров. Кроме того, они будут применять полученное разнообразие к более широкому спектру задач регрессии и классификации, диверсифицировать нейронные сети и оценивать их устойчивость и производительность в различных сценариях.