Сотрудничающие графовые нейронные сети

Сотрудничество графовых нейронных сетей

Новая архитектура GNN

Большинство графовых нейронных сетей (GNNs) следуют парадигме передачи сообщений, где состояния узлов обновляются на основе агрегированных соседних сообщений. В этом сообщении мы описываем кооперативные GNN (Co-GNN), новый тип архитектуры передачи сообщений, где каждый узел рассматривается как игрок, который может выбрать либо «слушать», «транслировать», «слушать и транслировать» либо «изолировать». Стандартная передача сообщений – это особый случай, когда каждый узел «слушает и транслирует» все соседние узлы. Мы показываем, что Co-GNN-ы асинхронны, более выразительны и могут решать распространенные проблемы стандартных GNN, такие как пережатие и сглаживание.

Иллюстрация действий узлов в Co-GNN: стандартная, слушать, транслировать и изолировать. Изображение: DALL-E 3.

Это сообщение было написано совместно с Беном Финкельштейном, Исмаилом Чейланом и Сингюэй Хуангом и основано на статье Б. Финкельштейна и др., Cooperative Graph Neural Networks (2023) arXiv:2310.01267.

Графовые нейронные сети (GNN) являются популярным классом архитектур, используемых для обучения на графовых структурированных данных, таких как молекулы, биологические интерактомы и социальные сети. Большинство GNN следуют парадигме передачи сообщений [1], где на каждом уровне узлы графа обмениваются информацией по ребрам графа. Состояние каждого узла обновляется с помощью перестановочной операции агрегации (обычно суммы или среднего значения) сообщений, отправленных соседними узлами [2].

Хотя парадигма передачи сообщений оказала большое влияние на графические методы обучения, у нее существуют известные теоретические и практические ограничения. Формальное соответствие графовых нейронных сетей с передачей сообщений (MPNN) тестам изоморфизма графа [3] предоставляет теоретическую верхнюю границу их экспрессивной мощности. В результате, различение даже очень простых незападных графов (например, 6-цикла и двух треугольников в приведенном ниже примере) невозможно с использованием только передачи сообщений без дополнительной информации, такой как позиционного или структурного кодирования…