Новый метод от исследователей Microsoft и MIT надеется уменьшить галлюцинации искусственного интеллекта

Новый метод от исследователей Microsoft и MIT уменьшает галлюцинации искусственного интеллекта.

В области обработки естественного языка (Natural Language Processing, NLP) большие языковые модели сыграли ключевую роль в том, как мы взаимодействуем с текстовыми данными. Несмотря на значительные достижения, проблема “галлюцинации” может продолжать существовать. Галлюцинации возникают, когда модели генерируют информацию, несовместимую с фактами реального мира.

Согласно новой статье группы исследователей из MIT и Microsoft, новый подход может помочь сократить количество случаев галлюцинаций искусственного интеллекта (AI). Одной из проблем, связанных с галлюцинациями искусственного интеллекта, являются опасности, связанные с этими проблемами.

Это особенно важно в случае применения в клинической и юридической отраслях. Это часто связано с особыми регуляторными и нормативными стандартами, которые означают, что риск галлюцинаций искусственного интеллекта может создавать уникальные юридические и ответственностные проблемы.

Именно здесь вступает в действие DoLa. Стратегия DoLa заключается в приоритетном использовании информации из более глубоких слоев модели, игнорируя информацию из промежуточных или более поверхностных слоев. Этот контрастивный метод декодирования улучшает фактические знания LLM без необходимости использования внешних источников информации или дополнительного тонкой настройки.

Пока что экспериментальные результаты выглядят многообещающими. Было продемонстрировано, что это улучшает целостность LLM, таких как LLaMA на наборах данных TruthfulQA и FACTOR. Более того, эксперименты, сосредоточенные на цепочке логического мышления в StrategyQA и GSM8K cc, указывают на его потенциал существенно улучшить фактическое рассуждение.

Но это еще интереснее. При оценке с использованием GPT-4 для создания текста с открытым окончанием, DoLa генерирует информативные и значительно более фактические ответы, получая более высокие оценки по сравнению с традиционными методами декодирования. Более того, это добавляет только минимальное количество времени к процессу декодирования, делая его практичным и эффективным решением.

Хотя исследование выглядит многообещающим, следует помнить, что в статье отмечается, что команда не расширила свои тесты на другие области, такие как выполнение инструкций или реагирование на обратную связь от людей. Кроме того, их подход полностью основан на предварительной архитектуре и параметрах, что ограничивает возможные улучшения.

В отличие от моделей языковых моделей, дополненных поисковыми системами, DoLa полностью полагается на существующие знания модели, не добавляя новую информацию через внешние модули поиска. Исследователи выражают надежду, что в будущей работе будут интегрированы эти компоненты, что потенциально позволит преодолеть эти ограничения.

Если вас интересует, вы можете найти GitHub для DoLa здесь.