Это исследование ИИ от Google раскрывает, как кодирование графовых данных повышает производительность языковых моделей на сложных задачах.

Исследование Google по использованию графовых данных раскрывает перспективы повышения производительности языковых моделей в сложных задачах.

Исследования и применение больших моделей языка (LLM) заметно продвинулись в последние годы. Эти генеративные модели завлекают искусственный интеллект, и в последнее время появилось много моделей, обученных на различных задачах и модальностях. Согласие, достигнутое в результате этих разработок, гласит о том, что LLM являются важным шагом к искусственному общему интеллекту (AGI). Тем не менее, несмотря на все их преимущества, в конструировании и реализации LLM есть множество улучшений, которые можно внести. Их зависимость от неструктурированного текста – один из наиболее очевидных недостатков, поскольку это иногда может приводить модели к пропуску ясных логических выводов или к представлению ложных заключений.

Другой недостаток состоит в том, что LLM имеют внутренние ограничения, основанные на времени, в которое они обучались, и может быть сложно интегрировать «новые» знания о том, как мир развивается. Одной из самых адаптируемых форм представления информации является графоструктурированные данные, что предлагает потенциальное решение для обоих проблем. Интересно отметить, что, несмотря на этот потенциал, только немного исследований проведено на пересечении графов и LLM. Например, несмотря на то, что графовые базы данных и LLM получили много внимания, требуется провести еще больше исследований по более широким применениям графоструктурированных данных. В последнее время Ван и соавторы предприняли попытку решить эту проблему, создав графовый бенчмарк, специфический для языковых моделей.

Удаление различных естественных графовых проблем и отсутствие вариации типов обрабатываемых графовых структур создают множество нераскрытых вопросов, несмотря на то, что их работа является интересной отправной точкой для оценки графовых рассуждений LLM. Другие недавние исследования стремятся использовать LLM вместо графоструктурированных данных, но игнорируют некоторые основные проблемы с LLM. Исследователи из Google Research провели первое всеобъемлющее исследование рассуждения о графоструктурированных данных в виде текста, который LLMы могут читать в данной статье. Они подробно рассматривают проблему с инженерией графического подсказки и кодированием графиков для дальнейшего исследования графового рассуждения.

• «Как снизить галлюцинации при ЛЛМ»
• Разоблачение Matplotlib
• Apple M2 Max GPU против Nvidia V100, P100 и T4

Мы можем использовать полученные LLM представления в графических проблемах, экспериментируя с различными техниками кодирования графиков. Исследуя методы инженерии подсказок, можно выбрать наилучший подход для задания вопроса LLM. Их проверенные результаты позволяют определить сценарии, в которых различные эвристики подсказок работают наилучшим образом. Для этого они представляют новый набор бенчмарков, называемый GraphQA, для оценки производительности рассуждений LLM по данным графиков. Использование графиков с более разнообразной и реалистичной графической структурой, чем в предыдущих исследованиях с использованием LLM, выделяет GraphQA.

В частности, их работа внесла следующий вклад:

1. Тщательное изучение подходов к подсказкам графической структуры для использования в LLM.

2. Лучшие практики и инсайты для кодирования графиков в виде текста для использования LLM.

3. Новый графический бенчмарк под названием GraphQA, который позволяет сообществу более полно исследовать, как графическая структура влияет на LLM подсказки.