Можем ли мы остановить LLM от галлюцинаций?

Можем ли остановить LLM от галлюцинаций?

Мнение

Одной из самых больших преград для широкого принятия LLM может оказаться врожденная неразрешимость.

Хотя Большие Языковые Модели (LLM) привлекли внимание почти всех, масштабное внедрение такой технологии ограничено из-за довольно раздражающего аспекта – эти модели склонны к галлюцинациям. Проще говоря, иногда они просто выдумывают что-то, и, что еще хуже, это часто выглядит очень убедительно.

Галлюцинации, будь то частые или нет, вызывают две основные проблемы. Они не могут быть прямо реализованы во многих чувствительных или хрупких областях, где одна ошибка может стоить очень дорого. Кроме того, они вызывают общее недоверие, так как пользователей ожидается проверка всего, что поступает от LLM, что, по крайней мере, частично противоречит цели такой технологии.

Академическое сообщество, кажется, тоже считает галлюцинации серьезной проблемой, так как в 2023 году было опубликовано десятки научных статей, обсуждающих и пытающихся решить эту проблему. Однако я склонен согласиться с Янном ЛеКуном, главным исследователем искусственного интеллекта Meta, что галлюцинации вообще не могут быть разрешены. Нам нужна полная переработка технологии, чтобы устранить эту проблему.

Галлюцинация ложных утверждений

Есть два важных аспекта любой LLM, которые, по моему мнению, делают галлюцинации неразрешимыми. Начнем с очевидной технологической основы: LLM, как и любая другая модель машинного обучения, является стохастической. Проще говоря, они делают предсказания.

• Обнаружение мошенничества с использованием сопоставления сущностей и графовых нейронных сетей
• Освоение теоремы о максимальном потоке и минимальном разрезе всесторонний и формальный подход
• Обязательные сценарии Gen AI, которые стоит попробовать для специалистов по обработке данных

Хотя они, безусловно, намного более продвинуты, чем “высококлассное автозаполнение”, базовая технология все еще использует статистические предсказания о токенах. Это и является одним из преимуществ и слабостей LLM.

С одной стороны, мы видели, насколько удивительно хороши они в предсказании того, что должно следовать после ввода (за исключением намеренных попыток испортить результат). Пользователи могут допустить несколько типов ошибок, таких как оставить опечатку, неправильно понять значение слова и т. д., и LLM все равно часто сможет правильно предсказать результат.

В прошлом, когда были созданы первые текстовые игры, пользователей просили вводить команды без ошибок или возможности интерпретации. Команда, например, “двигаться на север”, вызывала ошибку, если пользователь вводил “двигаться на севр”. Однако LLM, возможно, сможет понять значение в обоих случаях. В этом смысле технология действительно удивительна.

Тем не менее, это также показывает слабость. Любой ввод имеет широкий потенциал для выбора токенов. Проще говоря, модель всегда может создать множество вариантов вывода. Из всего этого разнообразия относительно небольшая часть является “правильным” решением.

Хотя существует множество вариантов оптимизации, сама проблема неразрешима. Например, если мы увеличим вероятность предоставления одного конкретного ответа, то LLM превратится в таблицу поиска, поэтому мы хотим сохранить баланс. Основная технология основана просто на стохастических предсказаниях, и должно быть некоторое пространство для более широкого диапазона предоставляемых токенов.

Но есть еще одна проблема, которую LLM не может решить, по крайней мере, в своем текущем состоянии. Это немного более эфемерно и абстрактно, так как оно связано с эпистемологией, областью философии, изучающей природу знания. С точки зрения проблемы все просто – как мы знаем, какие утверждения являются истинными, и как мы получаем такое знание? В конце концов, галлюцинация – это просто набор ложных утверждений, так что, если мы смогли бы создать способ для модели проверить, что она сделала ложное утверждение и удалить его, это решило бы проблему.

Разделение галлюцинаций и истинных утверждений

Следуя философии, мы можем выделить два типа возможных утверждений – аналитические и синтетические. Первые – это утверждения, которые являются истинными по определению (один из самых распространенных примеров – “холостяк – это неженатый мужчина”). Проще говоря, мы можем найти утверждения, которые являются истинными путем анализа самого языка, и для этого не требуется внешний опыт.

Синтетические утверждения – это любые утверждения, которые являются истинными благодаря некоторому виду опыта, например, “на столе передо мной есть яблоко”. Нет способа узнать, является ли такое утверждение истинным без обращения к прямому опыту. Чистый лингвистический анализ не помогает определить, является ли оно истинным или ложным.

Следует отметить, что различие между этими утверждениями долгое время остается предметом ожесточенных споров, но для LLM оно в значительной степени не имеет значения. Как их название может указывать, они являются высокоуровневой аналитической и прогностической машиной.

Различая между двумя типами, мы видим, что LLM не имел бы проблем с аналитическими утверждениями (по крайней мере, не больше, чем у людей). Однако у них нет доступа к опыту или к миру в целом. У них нет возможности знать, что некоторые утверждения верны по силе события.

Основная проблема заключается в том, что количество аналитических утверждений значительно меньше, чем множество всех синтетических утверждений. Поскольку LLM не имеет способа проверить, являются ли эти утверждения верными, мы, как люди, должны предоставить им такую информацию.

Таким образом, LLM сталкивается с проблемой. Множество всех возможных результатов всегда будет содержать некоторое количество синтетических утверждений, но для модели все они являются бесчувственными к значению истины. Проще говоря, утверждения “Убийца Юлия Цезаря был Брут” (их было много, но в данном случае это не имеет значения) и “Убийца Юлия Цезаря был Авраам Линкольн” эквивалентны для модели.

Можно возразить, что и у нас нет прямого опыта этих событий. Мы только читаем о них в книгах. Но определение правдивости утверждения основано на реконструкции сохранившихся отчетов и широком спектре других археологических доказательств.

Более простым примером (хотя и менее значимым) утверждения будет “сегодня идет дождь”. Такие утверждения невозможно определить как истинные для LLM, так как они нуждаются в доступе к реальному опыту в момент запроса.

С одной стороны, эпистемологическая проблема решается сама по себе. Наш корпус литературы значительно увеличивает вероятность вывода, что “Убийца Юлия Цезаря был Брут”, поскольку это утверждение встречается гораздо чаще. Однако проблема заключается в том, что такое саморешающееся решение требует обучения LLM на абсолютно всей доступной текстовой информации, что, очевидно, невозможно. Кроме того, это может привести к тому, что другие, менее правдивые результаты не будут полностью исключены из множества всех возможных результатов.

Таким образом, качество данных становится важным фактором, но это качество может быть оценено только людьми-наблюдателями. Даже в случаях, когда модели обучаются на огромных объемах данных, происходит определенный процесс выбора, что означает, что уровень ошибок для синтетических утверждений не может быть исключен.

Заключение

Я считаю, что проблема предотвращения галлюцинаций моделей неразрешима. Во-первых, сама технология основана на стохастическом процессе, который неизбежно, при большом количестве результатов, приведет к неверным предсказаниям.

Помимо технического препятствия, возникает вопрос о том, могут ли LLM давать оценки истины утверждений, что, снова же, я считаю невозможным, так как у них нет доступа к реальному миру. Проблема частично уменьшается благодаря различным функциям поисковых систем, которые теперь доступны для многих LLM и которые могут проверять некоторые утверждения.

Возможно, однако, собрать базу данных, в которой можно проверять утверждения, но это потребует чего-то вне самой технологии, что возвращает нас к исходной проблеме.