Топологическая обобщенность с проводящими трансформаторами диффузии
Топологическая обобщенность с проводниковыми трансформаторами диффузии
Топологическая обобщенность в ГНСС
Одним из ключевых открытых вопросов в исследовании графовых нейронных сетей (ГНСС) является их способность к обобщению, в особенности при изменении топологии графа. В этом посте мы изучаем эту проблему с позиции графовых диффузионных уравнений, которые тесно связаны с ГНСС и ранее использовались в качестве рамки для анализа динамики ГНСС, выразительной силы и обоснования выбора архитектуры. Мы описываем новую архитектуру, основанную на адвективной диффузии, которая объединяет вычислительную структуру нейронных сетей с передачей сообщений (MPNN) и трансформаторов и показывает превосходную способность к топологическому обобщению.
Этот пост был написан совместно с Qitian Wu и Chenxiao Yang и основан на статье Q. Wu et al., Advective Diffusion Transformer for Topological Generalization in Graph Learning (2023) arXiv:2310.06417.
Графовые нейронные сети (ГНСС) стали популярной архитектурой для машинного обучения на графовых данных за последнее десятилетие и находят широкое применение в различных сферах, начиная от социальных сетей и наук о жизни, заканчивая препаратами и дизайном еды.
Два ключевых теоретических вопроса, касающихся ГНСС, это их выразительные и обобщающие способности. Первый вопрос был подробно рассмотрен в литературе с помощью вариантов теста изоморфизма графа [1], а недавно также был сформулированы как уравнения типа “дискретизованная диффузия” [2]. Однако второй вопрос, несмотря на множество недавних подходов [3-4], остается в основном открытым.
Эмпирически ГНСС часто показывают плохие результаты [5-7], когда тренировочные и тестовые данные генерируются из различных распределений (так называемый “сдвиг распределения”), особенно при изменении топологии графа (“топологический сдвиг”). Это…
