Исследователи Стэнфордского университета представляют единый фреймворк искусственного интеллекта для объединения и взаимного учета атрибуций в больших языковых моделях (LLM).

Ученые из Стэнфордского университета представляют новый подход искусственного интеллекта для объединения и учета атрибутов в языковых моделях (LLM).

Большие языковые модели (LLM) – последнее достижение в экспоненциально развивающейся области искусственного интеллекта (ИИ). Хотя эти модели проявляют невероятную производительность в задачах, таких как генерация текста, ответы на вопросы, краткое изложение текста и т. д., возникает проблема с точностью и безопасностью данных, которые они генерируют. Иногда эти модели могут производить фальсифицированную или неточную информацию, т.е. галлюцинировать и создавать непроверенные результаты.

Отслеживание источника необходимо для определения моральной и юридической ответственности за вред, причиняемый выходом модели; однако атрибуция является сложной задачей, которая требует креативного технического исследования. Исследования по атрибуции выходов LLM в основном сосредоточены на двух областях: атрибуции обучающих данных (TDA) и создании цитат.

В недавнем исследовании команда ученых из Стэнфордского университета представила единую модель для атрибуции больших языковых моделей. Исследование касается создания цитат и TDA, объединенных под общими атрибуциями. Contributive атрибуция сосредоточена на проверке источника созданного контента, тогда как корроборативная атрибуция стремится проверить, что вывод соответствует внешним знаниям.

• EPFL и исследователи Apple делают открытым исходный код 4M фреймворк искусственного интеллекта для обучения многомодальных моделей основы с использованием десятков модалей и задач.
• Исследователи Стэнфордского университета используют глубокое обучение с помощью GLOW и IVES для преобразования молекулярного докинга и прогнозирования позы связывания лиганда
• Исследователи из Университета Наньянской технологии представляют прорывной метод Повышение качества видео с помощью скрытой диффузии, руководимой текстом для улучшения супер-разрешения видео.

Команда рассмотрела несколько желаемых характеристик в различных сценариях и предоставила точные определения для каждой формы атрибуции. Этот метод способствует созданию и оценке систем атрибуции, которые могут предоставлять полные атрибуции обоих видов. Это первый шаг к четкому, но гибкому концепту атрибуции языка.

Фреймворк был использован в реальных случаях для демонстрации своей полезности. Примеры иллюстрируют ситуации, когда требуются одна или обе формы атрибуции. В процессе создания юридических документов, внутренняя действительность, т.е. атрибуция обучающих данных, подтверждает источник информации и ее надежность, тогда как внешняя действительность, т.е. создание цитат, гарантирует, что материал соответствует юридическим требованиям. Точно так же в контексте ответов на медицинские вопросы обе атрибуции важны для проверки точности ответов и понимания источников, которые влияют на знания модели.

Команда резюмирует свои основные вклады следующим образом.

1. Представлена модель взаимодействия, объединяющая contributive и corroborative атрибуции, выделяя общие элементы.

1. Сочетанный фреймворк был усовершенствован путем нахождения атрибутов, относящихся к обоим типам атрибуции.

1. Проведен всеобъемлющий анализ текущих реализаций contributive и corroborative атрибуции, чтобы предоставить понимание реального применения.

1. Описаны сценарии, которые являются неотъемлемыми для атрибуций, такие как создание юридических документов, а также качества, необходимые для эффективности.

В заключение, фреймворк представляет собой отличное введение и может быть полезным при стандартизации оценки систем атрибуции, способствуя более систематической и сопоставимой оценке их эффективности в различных областях. Это может повысить эффективность и ускорить использование больших языковых моделей, предлагая последовательный и связный метод атрибуции, решая важную проблему надежности вывода.