Переосмысление академической честности в эпоху искусственного интеллекта Сравнительный анализ ChatGPT и студентов университетов в 32 курсах

Переосмысление академической честности в эпоху искусственного интеллекта анализ ChatGPT и студентов в 32 курсах университетов.

Искусственный интеллект (ИИ), который генерирует новый контент с использованием алгоритмов машинного обучения для развития ранее созданной текстовой, аудио- или визуальной информации, известен как генеративный ИИ. Многие сейчас считают этот сектор “игровым переключателем, на который общество и промышленность должны быть готовы” из-за последних достижений в этой области и ее ранее невиданной доступности. Например, Stable Diffusion и DALL-E привлекли много внимания в мире искусства своей способностью создавать произведения разных жанров. Другая технология генеративного ИИ, Amper Music, ранее использовалась для создания целых альбомов и генерации музыкальных песен в любом жанре.

Самым последним инструментом в этой области является ChatGPT, который может производить текстовые ответы, напоминающие человеческие реакции на различные подсказки на нескольких языках. Более точно, он это делает в разговорной форме, позволяя пользователям органично развивать предыдущие подсказки в виде непрерывного диалога. Из-за его почти неограниченной ценности во множестве готовых к использованию приложений, включая творческое письмо, маркетинг, обслуживание клиентов и журналистику, этот инструмент был назван “выдающимся успехом” и “революцией в производительности”. С момента своего запуска ChatGPT набрал миллион пользователей всего за пять дней и за два месяца превысил отметку в 100 миллионов пользователей в месяц, что привлекло много внимания к его возможностям.

Несмотря на его удивительные возможности, генеративный ИИ стал объектом этических вопросов. Постоянно ведутся дискуссии о том, кому принадлежат огромные объемы данных, доступных в Интернете и используемых для обучения моделей генеративного ИИ. Кроме того, по мере развития этих инструментов становится все сложнее отличить человеческие и алгоритмические творения. Генерация эссе и решений задач образовательного характера ChatGPT, например, спровоцировала дебаты о нарушениях академической честности старшеклассниками и студентами университетов. Например, образовательные округа Нью-Йорка, Лос-Анджелеса и Балтимора запретили его использование в Соединенных Штатах.

• Побудить инженерию использовать контекстное обучение в больших языковых моделях
• Познакомьтесь с Open Interpreter открытой реализацией интерпретатора кода OpenAI, работающей локально и имеющей открытый исходный код.
• Запуск генеративных LLM с помощью RunPod | Безсерверная платформа

Точно так же австралийские колледжи заявили, что они хотят возобновить “ручные экзамены”, чтобы отучить студентов использовать технологию для написания эссе. Поскольку многие преподаватели беспокоятся о плагиате, вузы, включая Университет Джорджа Вашингтона, Рутгерсский университет и Аппалачский государственный университет, решили полностью отказаться от домашних заданий с использованием учебника. Использование ChatGPT для создания академического письма также было запрещено на нескольких конференциях и изданиях, что неудивительно, учитывая, что аннотации, созданные ChatGPT, оказались идентичными материалам, созданным людьми.

Тем не менее, несколько человек защитили и даже отстаивали ChatGPT в целях улучшения процесса написания. В области образования ранее проводились исследования, в которых рассматривалась эффективность и полезность крупных языковых моделей в различных областях, включая медицину и здравоохранение, компьютерные и информационные науки, право, бизнес, журналистику и медиа, а также изучение языка. Несмотря на то, что эти исследования показали разные результаты при сравнении производительности ChatGPT на стандартизованных тестах с результатами студентов, исследования, в которых специально сравнивали производительность модели с прошлыми крупными языковыми моделями, показали значительное улучшение в задаче вопрос-ответ.

Исследователи ранее в своей оценке производительности ChatGPT на экзамене по медицинской лицензии США обнаружили, что ChatGPT проходит или приближается к порогу на каждом из трех этапов теста без необходимости дополнительного специализированного обучения или усиления. Точно так же другие исследовали модель ChatGPT на экзамене по основам инженерии США, чтобы оценить ее производительность в контексте инженерии. В своем исследовании они показали, как производительность модели колебалась в зависимости от множества разделов экзамена, высоко оцениваясь в некоторых, например в профессиональной практике и этике, и плохо оцениваясь в других, например в гидрологии.

Несмотря на эти примеры, требуется систематическое исследование, сопоставляющее производительность ChatGPT с производительностью студентов из разных академических областей в одном университете, чтобы литература стала более полной. Кроме того, нужно прояснить позицию студентов и преподавателей по использованию этой технологии в масштабе всего мира. Наконец, неизвестно, можно ли обнаружить ChatGPT-сгенерированные решения задач. Здесь исследователи из Нью-Йоркского университета в Абу-Даби сравнивают производительность ChatGPT с производительностью студентов в 32 университетских курсах из восьми разных областей для анализа его потенциала в качестве инструмента для выявления плагиата. Они также исследуют возможность использования метода затруднения, который может быть использован для обхода алгоритмов, специально разработанных для обнаружения ChatGPT-сгенерированного текста.

Они провели опрос участников (N=1601), которые были выбраны из пяти разных стран, а именно Бразилии, Индии, Японии, Великобритании и США, чтобы лучше понять точки зрения студентов и преподавателей как о полезности ChatGPT, так и о этических и нормативных проблемах, связанных с его использованием. Они также провели более подробные опросы среди 151 студента и 60 профессоров бакалавриата в университете авторов, чтобы изучить различия во взглядах разных областей на ChatGPT. Они обнаружили, что ChatGPT показывает такие же хорошие результаты, если не лучше, чем студенты в девяти из 32 курсов. Они также обнаружили, что существующие алгоритмы обнаружения часто неправильно определяют ответы ChatGPT как созданные ИИ, а не человеком.

Чтобы сделать ситуацию еще хуже, атака обфускации делает эти алгоритмы бесполезными, пропуская 95% ответов ChatGPT. Наконец, существует согласие среди студентов, что они будут использовать ChatGPT для своей академической работы, и среди преподавателей, что это будет рассматриваться как плагиат. В свете внутреннего противоречия между этими двумя аспектами, образовательные учреждения должны разработать приемлемые правила академической честности для генеративного ИИ в целом и особенно для ChatGPT. В эпоху генеративного ИИ их результаты предоставляют современные понимания, которые могут направить дискуссии о политике в области образовательных реформ.