Заражение данных и крах модели приближающаяся катастрофа искусственного интеллекта

Угроза потери данных и наступление катастрофы искусственный интеллект под ударом

Искусственно созданные инструменты искусственного интеллекта, такие как ChatGPT, кажутся слишком хорошими, чтобы быть правдой: создайте простой промт, и платформа генерирует текст (или изображения, видео и т. д.) по заказу.

За кулисами ChatGPT и подобных ему используется огромное количество данных с Всемирной паутины в качестве тренировочной информации — «большое» в термине «большая языковая модель» (LLM), которая дает этой технологии ее имя.

Однако, у генеративного ИИ есть свои недостатки. Он предпочитает правдоподобность исходному истинности, часто генерируя неправдивую информацию (см., мою последнюю статью о неправдоподобных утверждениях).

Однако, его неправдоподобие — не единственный его недостаток. Генеративный ИИ настолько успешен в создании правдоподобного контента, что люди загружают его обратно в Интернет, что означает, что в следующий раз, когда генеративная модель ИИ будет использовать Интернет для тренировки, это будет основываться уже на все большем количестве данных, сгенерированных ИИ.

• Полезны ли соревнования Kaggle для реальных проблем в реальном мире?
• Лучшие практики по созданию ETL для ML
• Все тонкости использования Retrieval-Augmented Generation (RAG)

Однако, такой подобный обратной связи вроде колеса Оуроборос — плохое дело, оно приводит к обрушению моделей и загрязнению данных. Поскольку нет практических способов предотвратить эти проблемы, эта обратная связь может сделать большую часть или даже всех ИИ неиспользуемыми.

Давайте рассмотрим это подробнее.

Обрушение модели и загрязнение данных

Обрушение модели происходит, когда модели ИИ обучаются на сгенерированном ИИ контенте. Это процесс, при котором маленькие ошибки или предубеждения в сгенерированных данных накапливаются с каждым циклом, в конечном итоге отклоняя модель от создания выводов на основе первоначального распределения данных.

Другими словами, модель со временем полностью забывает о первоначальных данных и начинает создавать лишний шум.

Загрязнение данных — это связанный, но отдельный процесс. Загрязнение данных — это тип кибератаки, при которой злоумышленник намеренно вводит вводит в обучающие наборы данных вводящую в заблуждение информацию, чтобы заставить модель генерировать плохие результаты — или, на самом деле, любые результаты, желаемые злоумышленником.

Известный пример загрязнения данных — произошедший в 2016 году инцидент с твиттер-чатботом Tay от Microsoft. Пользователи направляли в чатбота оскорбительные сообщения, обучая его дружить во враждебной манере.

В то время как обрушение модели и загрязнение данных — разные проблемы, их перекрывание особенно зловеще. Если плохие актеры используют ИИ для создания загрязненных данных с целью обрушить модель, они, вероятно, достигнут своих злонамеренных целей незамеченными.

Проблема с общедоступными наборами данных

Люди постоянно загрязняют Интернет. Возможно, даже вы сделали это. Все, что вам нужно сделать, чтобы совершить эту злонамеренную деятельность, это опубликовать на Интернете любой созданный ИИ контент.

Загрязнение, в конце концов, может быть как намеренным, так и ненароком. В то время как намеренное загрязнение данных является кибер-угрозой, случайное загрязнение происходит постоянно в Интернете, социальных медиа, внутренних сетях, каналах Slack и где угодно еще, где люди могут размещать созданный ИИ контент.

Как оказалось, обрушение модели — не единственный нежелательный результат загрязнения Интернета. Поиск любого поисковика также становится целью.

Поисковые системы давно сканируют Интернет задолго до появления LLM. Но сейчас, когда жанеративная ИИ кошка вышла из мешка, насколько вероятно, что результаты поиска Google — это страницы с созданным ИИ контентом?

Возможно, процент поисковых результатов, сгенерированных ИИ, сегодня относительно невелик, но этот процент с течением времени только будет возрастать. Если этот тренд продолжится, поисковые системы станут все более бесполезными, поскольку они будут выдавать только загрязненный контент, в то время как использующие такой же контент генеративные модели ИИ будут неизбежно обрушиваться.

Синтетическое загрязнение: фентанил ИИ

Загрязнение данных может быть намеренным или случайным, но есть и третий вариант: синтетические тренировочные данные.

В некоторых случаях использование реальных наборов данных для обучения LLM является нецелесообразным, например, если эти наборы данных содержат конфиденциальную информацию, такую как медицинские записи.

Вместо этого специалисты по ИИ используют ИИ для создания синтетических наборов данных, которые якобы похожи на реальные наборы данных во всех отношениях, но не содержат указанной конфиденциальной информации.

Однако, поскольку синтетические данные созданы ИИ, есть риск того, что наборы данных, которые обучают модели создания синтетических данных, содержали в себе данные, созданные ИИ, что устанавливает зловещий замкнутый круг, приводящий к обрушению моделей.

Как решить проблему загрязнения данных/обрушении модели

Самые очевидные решения этой проблемы являются самыми непрактичными. Конечно, мы могли бы запретить людям публиковать на Интернете или использовать ИИ-генерируемый контент для обучения наших моделей. Однако, невозможно контролировать и соблюдать такой запрет.

Мы также могли бы улучшить наши ИИ-модели до такой степени, чтобы они распознавали ИИ-генерируемый контент и исключали его из алгоритмов обучения. Это решение тоже непрактично, поскольку технологии обмана инструментов обнаружения ИИ-генерируемого контента, кажется, развиваются быстрее, чем сами инструменты. В лучшем случае, оно будет работать только часть времени – но ядовитые данные, которые проскользнули, все равно разрушат модели.

Лучшее решение, учитывая современный уровень развития технологий, заключается в том, чтобы избегать обучения моделей на общедоступных или ИИ-генерируемых синтетических данных. Другими словами, организации должны тщательно подбирать свои наборы тренировочных данных, выбирая только “чистые” источники данных, которые они могут проверить, и исключая ИИ-генерируемые данные.

Обучение LLM на сегодняшнем Вебе неактуально. Единственный способ безопасного использования Интернета заключается в использовании только страниц, созданных до того, как генеративный ИИ стал явлением. Неудивительно, что Архив Интернета имеет такой рост загрузок.

Проблема с синтетическими данными сложнее. Организации, конечно, могли бы создавать синтетические данные без использования ИИ (как они делали уже много лет), но тогда у них возникнут те же проблемы, что и раньше с такими наборами данных: введение человеческих ошибок и предубеждений.

Возможно, синтетические данные могут избежать проблемы с заражением данных или обрушения моделей, если данные для создания моделей синтетических данных используют тщательно отобранные наборы данных, исключая все ИИ-генерируемый контент.

Позиция Intellyx

Мы можем рассматривать генеративный ИИ, как антибиотики: изначально волшебные препараты, ставшие все более проблематичными с течением времени, поскольку возникла устойчивость, и, в конечном счете, они перестали работать.

Или, может быть, мы должны рассматривать общедоступные наборы данных, такие как Всемирная паутина, как ограниченный ресурс, несмотря на необъятный размер и неумолимый рост Веба.

Наличие ИИ-генерируемого контента все равно будет распространяться, отравляя результаты поиска, а также разрушая ИИ-модели, которые зависят от такой публичной информации для обучения.

Хорошая новость заключается в том, что курация – это реальное решение, и, фактически, многие бизнес-приложения генеративного ИИ уже зависят от отобранного контента.

Однако такая курация требует постоянной бдительности. Просто заявлять, что организация защищена от обрушения моделей, потому что она использует только корпоративные данные в качестве источников тренировочных данных, может привести к неразумному чувству самодовольства.

Без тщательного контроля и управления, даже тщательно подобранные наборы данных могут непреднамеренно включать ИИ-генерируемый контент. Противоядием против такого самодовольства является постоянная бдительность.