Познакомьтесь с ULTRA предварительно обученной моделью основы для логического вывода на знаниях графа, которая работает с любым графом и превосходит модели SOTA с учителем на 50+ графиках.
Представляем ULTRA обученную модель основы для логического вывода на знаниях графа, превосходящую модели SOTA с учителем на 50+ графиках.
ULTRA – это модель, разработанная для изучения универсальных и передаваемых графических представлений для графов знаний (KG). ULTRA создает реляционные иллюстрации, обусловленные взаимодействиями, что позволяет ей обобщаться на любой KG с разными словарями сущностей и отношений. Предобученная модель ULTRA проявляет впечатляющую индуктивную индукцию на новых графах при экспериментах по прогнозированию связей, часто превосходя специализированные базовые модели.
Исследователи из множества институтов объединились, чтобы решить задачу создания базовых моделей для KG, способных для универсального вывода. Они представляют ULTRA – модель для изучения универсальных графических представлений без использования текстовой информации. В их исследовании раскрывается различие ULTRA от текстовых подходов и обсуждаются типы данных, используемые в экспериментах, включая трансдуктивные и индуктивные наборы данных с новыми сущностями. Рассматриваются существующие индуктивные методы прогнозирования связей в KG, с акцентом на их ограничения.
В их методе обсуждается проблема применения парадигмы предварительного обучения и оттачивания, успешной в областях языка и зрения, к KG из-за их различных словарей сущностей и отношений. ULTRA – это подход для изучения универсальных графических представлений, который позволяет передавать данные на новые KGs с разными отношениями и структурами. ULTRA использует взаимодействия между отношениями, облегчая обобщение по различным размерам KG и различным словарям отношений, с целью обеспечить эффективное предварительное обучение и отточку навыков рассуждения в KG.
- Разблокировка систематической композициональности в нейронных сетях прорыв с помощью метаобучения для подхода композициональности (MLC)
- Используйте AWS PrivateLink для настройки приватного доступа к Amazon Bedrock.
- Обработка текста для подготовки к машинному обучению в Python — Обработка естественного языка
ULTRA представлен для изучения универсальных графических представлений, позволяющих вывод на графиках с разными словарями сущностей и отношений. Он применяет трехшаговый алгоритм для создания графика, получения представлений отношений с условием на запросы и прогнозирования связей. Производится сравнение производительности ULTRA с базовыми моделями на 57 KGs, демонстрируя сильную индуктивную индукцию в нулевом режиме. Процесс отточки улучшает производительность, делая его конкурентоспособными или превосходящим бейзлайн-модели, обученные на конкретных графиках.
Предложенный метод универсальных графических представлений, ULTRA, проявляет исключительную эффективность в нулевом режиме вывода, часто превосходя специфические базовые модели, обученные на графах. Производительность ULTRA может быть дополнительно улучшена с помощью процесса отточки, который эффективно сокращает разрыв между предварительным обучением и результатами базовой модели. ULTRA показывает значительные улучшения на малых индуктивных графах, достигая почти в три раза лучшей производительности на FB-25 и FB-50. Метрики оценки включают MRR и H10, отчетливо видимые для полного набора сущностей.
В заключение, ULTRA предлагает универсальные и передаваемые графические представления, превосходя обученные базовые модели на широком спектре графиках, даже в сценариях нулевого режима, в среднем на 15 с дальнейшим улучшением через отточку. Возможность ULTRA обобщаться на новые, неизвестные графики с разными отношениями структурами делает его перспективным выбором для аргументированного и переносимого рассуждения в графах знаний. В его оценке 57 KGs постоянно демонстрируется превосходная производительность по сравнению с базовыми моделями, обученными на конкретных графиках.
Дальнейшая работа предлагает исследование дополнительных стратегий для захвата взаимодействия между отношениями. Отмечается необходимость всесторонней оценки метрик за пределами Hits10 с 50 случайными отрицательными значениями. Текущие исследования подтверждают полезность исследования переноса обучения для обучения представлений KG, что еще не освещено полностью. Также рекомендуется исследование методов индуктивного обучения, обобщающихся на KGs со сложным набором отношений.
