Мета Исследования представляют Систему 2 Внимания (S2A) метод искусственного интеллекта, который позволяет LLM определить важные части контекста ввода с целью генерации хороших ответов.

Система 2 Внимания (S2A) метод искусственного интеллекта для анализа контекста ввода и генерации качественных ответов Мета Исследования

Большие модели языка (LLM), хотя и высококомпетентны в широком спектре языковых задач, часто проявляют слабые способности к рассуждению, делая очень простые ошибки. Иногда они могут делать ошибочные суждения из-за несущественного контекста или проявлять проблему, называемую приученностью, когда модель соглашается с входным текстом, даже если он некорректен. Исследователи пытались справиться с этими проблемами путем увеличения объема обучающих данных или с помощью стратегий обучения с подкреплением. Однако более эффективным решением было бы исправить основные узлы в архитектуре трансформера, в частности, механизм внимания.

Мягкое внимание в трансформаторе склонно придавать значение большим частям входного текста, включая несущественные фрагменты. Более того, из-за того, как это обучается, он слишком сильно фокусируется на повторяющихся токенах, что приводит к вышеупомянутым проблемам. Команда исследователей из Meta представила новый подход, называемый Системой 2 Внимания (S2A), который использует инструкционно-настроенные LLM для определения и извлечения наиболее релевантных частей входного контекста, тем самым смягчая влияние ненужной информации. Еще одним преимуществом этого метода является возможность контроля фокуса внимания LLM, аналогично тому, как мы обрабатываем внимание человека.

Механизм внимания в трансформаторе позволяет ему идентифицировать корреляции в тексте. Хотя это улучшает способности модели к предсказанию следующего слова, это также делает ее более подверженной введению в заблуждение ложными корреляциями в контексте. Вероятность повторяемости слов в тексте увеличивается с каждой итерацией, создавая положительную обратную связь, которая заставляет модель сфокусироваться на конкретных темах. Способ работы S2A заключается в том, что сначала он удаляет ненужные части из контекста и восстанавливает их, которые затем используются вместо исходного текста для получения конечного результата.

Исследователи провели различные эксперименты для тестирования производительности своего подхода. Они получили следующие результаты:

  • S2A улучшает производительность модели с точки зрения фактичности для вопросов с мнением.
  • S2A увеличивает объективность в длинной форме генерации, показывая, что он не легко убеждается в мнениях.
  • Кроме того, S2A также улучшает производительность модели в математических задачах со словесными проблемами, содержащих несущественные предложения.

Исследователи также тестировали различные вариации метода S2A (с акцентом на связность вместо несвязности, сохраняя исходный контекст после удаления ненужных слов и т. д.). Они обнаружили, что, за исключением нескольких экспериментов, варианты не показывают такую хорошую производительность, как оригинальный метод.

Несмотря на то, что метод может обходить несущественную информацию, он все же может быть подвержен ей. Кроме того, он требует больше вычислительных ресурсов по сравнению со стандартной регенерацией LLM. Однако эту проблему можно решить с помощью трюков ускорения, и исследователи оставили ее для дальнейшей работы. В целом, S2A – это метод, который может предотвратить фокусировку LLM на неважные части текста для повышения его возможностей. Техника улучшила производительность модели при работе с вопросами с мнением и математическими проблемами с несущественными предложениями. Однако есть еще место для дальнейшего совершенствования, и можно исследовать альтернативные пути, чтобы увеличить способность к рассуждению LLM.