Исследование искусственного интеллекта из Китая изучает иллюзорный разум ИИ глубокое погружение в галлюцинации в больших языковых моделях

Исследование глубокого погружения искусственного интеллекта из Китая в иллюзорный разум ИИ и галлюцинации в больших языковых моделях

Большие языковые модели недавно привнесли перелом в области обработки естественного языка, приводя к ранее неслыханным прогрессам в создании, понимании и логическом мышлении языка. Однако проблемная тенденция, совпадающая со стремительным развитием БХМ, заключается в их способности вызывать галлюцинации, в результате чего информация кажется достоверной, но лишена фактической поддержки. Настоящее определение галлюцинаций, описывающее их как созданную информацию, которая является нелогичной или недостоверной с точки зрения данного источника контента, остается согласным с предыдущими исследованиями. В зависимости от степени расхождения с исходным материалом, эти галлюцинации дополнительно делятся на внутренние и внешние галлюцинационные категории.

Хотя существуют специфические для задач варианты, данная категория общая для нескольких задач генерации естественного языка. По сравнению с моделями, специфичными для задач, БХМ обладают большим потенциалом для галлюцинаций из-за своей исключительной адаптивности и превосходной производительности во множестве задач генерации естественного языка, особенно в области открытого домена. В рамках БХМ галлюцинация – более расширенное и всеохватывающее понятие, фокусирующееся в основном на фактических неточностях. Настоящая таксономия галлюцинаций должна быть изменена с целью улучшения ее актуальности и гибкости в свете прогресса БХМ эпохи. Команда исследователей из Харбинского института технологии в Китае и Huawei провела это исследование и переклассифицировала таксономию галлюцинаций, предоставляя более специализированную основу для применения БХМ.

Они разделяют галлюцинации на две основные категории: галлюцинации достоверности и галлюцинации фактичности. Акцент в галлюцинациях фактичности делается на различиях между содержимым, которое было создано и проверено на основе реальных фактов; эти различия обычно проявляются в виде вымысла или фактических несоответствий. Например, на вопрос о первом человеке, ступившем на Луну, как показано на рисунке 1, модель уверенно ответит, что в 1951 году это сделал Чарльз Линдберг. Однако с миссией “Аполлон-11” в 1969 году первым на Луну ступил Нил Армстронг. С другой стороны, термин “галлюцинация верности” описывает несоответствие и отклонение содержимого от инструкций пользователя или контекста ввода.

• Исследователи Microsoft Research и Университета Цинхуа предложили Skeleton-of-Thought (SoT) новый подход искусственного интеллекта для ускорения генерации LLMs
• Это исследование искусственного интеллекта представляет драйвабельные трехмерные гауссовы аватары (D3GA) Первую трехмерную управляемую модель для визуализации человеческих тел методом гауссовых шаров.
• Расшифровка сложных моделей искусственного интеллекта исследователи из Пердью превращают прогнозы глубокого обучения в топологические карты

Как видно на рисунке 1, модель произвела ошибочную дату события для столкновения Израиля и Хамаса, ошибочно приняв октябрь 2023 года за октябрь 2006 года при запросе описания новости. Они дополнительно классифицируют фактичность на две подкатегории: фактическое несоответствие и фактическую выдумку, в зависимости от наличия проверяемых источников. Для улучшения достоверности они уделяют сильное внимание разрешению противоречий с точки зрения пользователя. Они классифицируют их на логические, контекстные и инструктивные противоречия. Это лучше соответствует текущему использованию БХМ. Хотя они были исследованы в контексте задач генерации естественного языка, коренные причины галлюцинаций представляют особые трудности для современных БХМ и требуют дальнейших исследований.

Их тщательное исследование дает основательное представление о конкретных причинах галлюцинаций в БХМ, включая широкий спектр связанных элементов, начиная от тренировки и данных, заканчивая этапом вывода. В этой рамке они выделяют вероятные причины, связанные с данными, включая неисправные источники и недостаточно используемые ресурсы, низкокачественные стратегии обучения, которые могут привести к галлюцинациям до обучения и выравнивания, а также галлюцинации, вызванные стохастическими подходами к декодированию и неточными представлениями в процессе вывода.

Кроме того, они предоставляют подробное описание ряда эффективных методов обнаружения галлюцинаций в БХМ и всестороннюю сводку данных о бенчмарках для галлюцинаций в БХМ. Они являются подходящими платформами для оценки уровня галлюцинаций, вызванных БХМ, и эффективности методов обнаружения. Кроме того, они предлагают тщательные тактики для сокращения признанных источников галлюцинаций. Они надеются, что данное исследование дополнит область БХМ и предоставит полезную информацию, позволяющую расширить знания о потенциальных преимуществах и сложностях, связанных с галлюцинациями в БХМ. Это исследование улучшает их понимание недостатков существующих БХМ и предлагает критическое направление для дальнейших исследований и создания более надежных и крепких БХМ.