Чат-боты могут ‘галлюцинировать’ гораздо чаще, чем многие осознают.

Чат-боты всё чаще 'галлюцинируют', чем многие даже не подозревают.

«Галлюцинации» могут не представлять проблемы для людей, экспериментирующих с чат-ботами на своих персональных компьютерах, но это серьезная проблема для тех, кто использует эту технологию в судебных документах, медицинской информации или чувствительных бизнес-данных. ¶ Фото: Кейси Клиффорд/The New York Times

Когда стартап OpenAI из Сан-Франциско представил своего онлайн-чат-бота ChatGPT в конце прошлого года, миллионы были поражены человекоподобным образом его ответов на вопросы, написания стихов и обсуждения почти любой темы. Но большинство людей медленно поняли, что этот новый тип чат-бота часто выдумывает.

Когда Google представил подобного чат-бота несколько недель спустя, он произнес много чушь о телескопе Джеймса Уэбба. На следующий день новый чат-бот Bing от Microsoft предложил всеобщую ложную информацию о магазине Gap, мексиканской ночной жизни и певице Билли Айлиш. Потом, в марте, ChatGPT привел в пример полдюжины вымышленных судебных дел, написав 10-страничную юридическую документацию, которую адвокат представил федеральному судье в Манхэттене.

Теперь новый стартап под названием Vectara, основанный бывшими сотрудниками Google, пытается выяснить, насколько часто чат-боты отклоняются от истины. Исследования компании показывают, что даже в ситуациях, специально созданных для предотвращения этого, чат-боты изобретают информацию не менее 3% времени — и до 27%.

Источник: The New York Times Полный текст статьи