Искусственный интеллект чат-ботов сталкивается с лингвистическим пониманием

ИИ чат-ботов и лингвистическое понимание

Появление чат-ботов искусственного интеллекта (AI) переформатировало разговорные взаимодействия, принося передовые достижения, которые кажутся параллельными пониманию и использованию языка человеком. Эти чат-боты, питаемые значительными языковыми моделями, становятся искусными в навигации по сложностям человеческого взаимодействия.

Однако недавнее исследование подняло вопрос о постоянной уязвимости этих моделей в различении естественного языка от бессмыслицы. Исследование, проведенное учеными Колумбийского университета, представляет интересные идеи о потенциальных улучшениях в производительности чат-ботов и обработке человеческого языка.

Исследование языковых моделей

Команда изложила свои исследования, включающие девять различных языковых моделей, подвергнутых многочисленным предложениям в парах. Человеческие участники исследования должны были определить более “естественное” предложение в каждой паре, отражающее повседневное использование. Затем модели были оценены на основе того, насколько их оценки совпадали с выбором людей.

Когда модели были поставлены друг против друга, наиболее эффективные оказались модели на основе трансформерных нейронных сетей по сравнению с более простыми моделями рекуррентных нейронных сетей и статистическими моделями. Однако даже более сложные модели демонстрировали ошибки, часто выбирая предложения, воспринимаемые людьми как бессмысленные.

• Как стать аналитиком цепочки поставок в 2023 году?
• Причинный Python Пять новых идей о причинности на конференции NeurIPS 2023
• Учебник по Matplotlib Поднимите карты вашей страны на новый уровень

Проблема с бессмысленными предложениями

Др. Николаус Кригескорте, главный исследователь из Зукерманского института Колумбийского университета, подчеркнул относительный успех больших языковых моделей в улавливании важных аспектов, упущенных более простыми моделями. Он отметил: “То, что даже лучшие модели, которые мы изучали, могут быть обмануты бессмысленными предложениями, показывает, что их вычисления что-то упускают в обработке языка человека”.

Удивительным примером из исследования было то, как модели, такие как BERT, неправильно оценивают естественность предложений, в отличие от моделей, таких как GPT-2, которые согласуются с оценками людей. Присутствующие недостатки в этих моделях, как отметил Кристофер Балдассано, доктор философии и доцент психологии в Колумбийском университете, вызывают опасения относительно опоры на системы искусственного интеллекта в процессах принятия решений, привлекая внимание к их явным “слепым зонам” в разметке предложений.

Выводы и будущие направления

Пробелы в производительности и исследование причин, почему некоторые модели превосходят другие, являются интересными аспектами для др. Кригескорте. Он считает, что понимание этих различий может значительно продвинуться в развитии языковых моделей.

Исследование также открывает возможности для исследования того, могут ли механизмы в чат-ботах AI вызвать новые научные исследования, помогая нейроученым разобраться в сложностях человеческого мозга.

Тал Голан, доктор философии, соавтор статьи, выразил интерес к пониманию мыслительных процессов человека, учитывая растущие возможности инструментов искусственного интеллекта в обработке языка. “Сравнивая их понимание языка с нашим, мы получаем новый подход к мышлению о том, как мы думаем”, – прокомментировал он.

Исследование лингвистических возможностей чат-ботов AI раскрывает оставшиеся проблемы в согласовании их понимания с познавательными способностями человека.

Непрерывные усилия по изучению этих различий и последующие открытия готовы не только улучшить эффективность чат-ботов AI, но и раскрыть многочисленные слои познавательных процессов человека.

Сопоставление языкового понимания, основанного на искусственном интеллекте, и познавательных процессов человека заложило основу для многогранных исследований, которые могут пересмотреть восприятие и продвинуть знания во взаимосвязанных областях искусственного интеллекта и нейронауки.