«Шокирующая реальность уязвимость ChatGPT к утечке данных»

«Шокирующая реальность уязвимости ChatGPT к утечке данных»

В рамках основных открытий недавнее исследование под названием “Извлечение обучающих данных из ChatGPT” выявило потрясающую уязвимость широко используемой языковой модели. Исследование, проведенное командой ученых, раскрывает, что возможно извлечение нескольких мегабайт обучающих данных ChatGPT всего за 200 долларов, что может привести к потенциальному утечке данных небывалых масштабов.

Исследование подчеркивает, что языковые модели, такие как ChatGPT, предназначены для понимания естественного языка и обучаются на данных, полученных из общедоступного интернета. В статье раскрывается методика атаки, которая позволяет извлекать точные данные, на основе которых модель прошла обучение. Пугающе, исследователи оценивают, что дополнительные финансовые вложения могут позволить извлечь до гигабайта обучающих данных ChatGPT.

Эта утечка данных имеет большое значение, так как она направлена на “выровненную” модель в производстве, созданную для избежания раскрытия существенных обучающих данных. Тем не менее, исследователи показывают, что при помощи разработанной атаки возможно вынудить модель раскрыть значительные объемы своих обучающих данных.

• Введение в PyTorch – тензоры и тензорные вычисления
• Duck AI представляет DuckTrack коллектор данных для мультимодального взаимодействия с компьютером
• Вопросы на собеседование по Data Engineering

Атаки на извлечение обучающих данных и почему вам следует беспокоиться

Команда исследователей, стоящая за этими открытиями, занимается проектами, связанными с “извлечением обучающих данных”, на протяжении нескольких лет. Извлечение обучающих данных происходит, когда модель машинного обучения, такая как ChatGPT, сохраняет случайные аспекты своих обучающих данных, что делает ее уязвимой для извлечения через атаку. В данной статье впервые экспонируется атака на извлечение обучающих данных для модели в производстве – ChatGPT. На изображении указаны общая электронная почта и контактная информация.

Последствия этой уязвимости имеют далеко идущие последствия, особенно для тех, чьи данные являются чувствительными или оригинальными. Помимо беспокойства о сбоях данных, в статье подчеркивается риск моделей запоминать и воспроизводить обучающие данные, что является критическим фактором для продуктов, основанных на оригинальности.

Извлечение данных из ChatGPT

В исследовании представлены доказательства успешного извлечения обучающих данных из ChatGPT, несмотря на то, что модель доступна только через чат-API и, вероятно, выровнена для сопротивления извлечению данных. Атака выявила уязвимость, которая обходит механизмы защиты конфиденциальности, заставляя ChatGPT отклоняться от своей настройки и возвращаться к своим исходным данным обучения.

Исследовательская команда подчеркивает, что выравнивание ChatGPT скрывает механизм запоминания и демонстрирует значительный рост частоты эмиссии данных при столкновении с определенной атакой. Модель, несмотря на внешний вид, обладает способностями к запоминанию с коэффициентом, превышающим на 150 раз сравнение с обычными атаками.

Последствия для тестирования и команды красного пени

В статье выражаются опасения относительно широкого использования ChatGPT – более миллиарда часов взаимодействия. Однако, высокая частота эмиссии данных оставалась незамеченной. Латентные уязвимости языковых моделей, а также проблема различия между кажущейся безопасной и действительно безопасной моделями, представляют существенные вызовы.

Существующие методики тестирования на запоминание оказываются недостаточными для выявления способности модели ChatGPT к запоминанию из-за этапа выравнивания, скрывающего его. Это подчеркивает необходимость усовершенствованных методологий тестирования для обеспечения безопасности языковых моделей.

Читать также: Навигация по вопросам конфиденциальности: объяснение утечки заголовков чат-пользователя ChatGPT

Наше мнение

Раскрытие уязвимости ChatGPT для утечек данных подчеркивает эволюцию анализа безопасности у моделей машинного обучения. Требуется дальнейшее исследование, чтобы обеспечить безопасность этих систем. В сегодняшнюю эпоху, ориентированной на технологии, уязвимость ChatGPT для утечек данных является ярким напоминанием о вызовах в обеспечении безопасности передовых языковых моделей.