Подготовка к ландшафту кибербезопасности завтрашнего дня, управляемому искусственным интеллектом

Подготовка кибербезопасности завтрашнего дня с помощью искусственного интеллекта

Мария Маркстедтер, основатель Azeria Labs и исследователь в области безопасности мобильных и IoT-систем, была открывающим докладчиком на конференции BlackHat 2023 — “Хранители эры искусственного интеллекта: навигация по кибербезопасности будущего”. Маркстедтер представила просветительскую картину того, как искусственный интеллект изменит кибербезопасность в ближайшие годы. В то время как искусственный интеллект приносит множество преимуществ, он также представляет новые угрозы, с которыми разработчикам необходимо разобраться, чтобы обеспечить безопасность своих систем.

Как описала Маркстедтер, чат-боты на основе искусственного интеллекта, такие как ChatGPT, внезапно стали популярными. Однако у бизнеса есть обоснованные опасения по поводу раскрытия чувствительных данных этим внешним сервисам. В ответ на это, быстро развился новый рынок платформ для разработки AI внутри компаний.

В результате этого в будущем у AI ассистентов будет широкий доступ к внутренним системам для повышения производительности. Однако возникают серьезные вопросы безопасности при автономных возможностях принятия решений. Новые механизмы безопасности необходимы для обеспечения безопасности AI агентов, так же как управление идентификацией и доступом обеспечивает безопасность пользователей.

Мульти-модальный искусственный интеллект, который синтезирует данные изображений, текста, голоса и других источников, экспоненциально расширяет потенциальные поверхности атаки. Вредоносные инструкции могут скрыться незаметно в любом канале ввода. Обеспечение безопасности систем AI потребует всесторонней проверки данных и очистки, выходящей за рамки текущих практик.

• Машинное обучение с децентрализованными тренировочными данными с использованием федеративного обучения на Amazon SageMaker
• Непрерывное обучение на краю
• Клетки ‘осьминога’ комплексные, и именно они являются ключом к их высокому интеллекту.

Сергиенко предупреждает, что искусственный интеллект может быть использован для автоматической обработки интернет-данных. Например, AI агент, получивший инструкцию создать новое приложение, может загрузить произвольный код из интернета, содержащий задние двери. Возможность восприятия внешних данных является фундаментальной, но также опасной.

Одной из ключевых проблем является то, что принятие решений AI является непрозрачным. Точная логика ответов часто непостижима даже для разработчиков. Это подчеркивает необходимость понятного искусственного интеллекта, который объясняет, как были получены выводы. В противном случае, обнаружение подделанных результатов или устранение сбоев становится невозможным.

Маркстедтер подчеркивает, что хотя искусственный интеллект не заменит необходимость в специалистах по безопасности, новые навыки будут востребованы. Эксперты должны изучить такие техники, как адверсарное машинное обучение, для обеспечения безопасности систем искусственного интеллекта. Понимание особенностей искусственного интеллекта станет обязательным для эффективной киберзащиты.

Проактивные разработчики должны применять принципы, такие как надежная сеть доверия для искусственного интеллекта, выполнять надежную проверку входных данных, развертывать песочницы для искусственного интеллекта, непрерывно мониторить аномалии и тестировать граничные случаи. Творческие хакеры, вероятно, найдут способы обмануть искусственный интеллект, о которых разработчики еще не догадываются.

Она заключила, что вместо того, чтобы искусственный интеллект заменял рабочие места в области безопасности, профессионалы, способные использовать искусственный интеллект для улучшения кибербезопасности, увидят увеличение своей ценности. Разработчики с возможностью создавать надежные системы машинного обучения, устойчивые к манипуляции, будут идеально подготовлены для ведения нас в алгоритмическое будущее.

Глубже заглянув, основной темой доклада является необходимость “защиты искусственного интеллекта от мира” для обеспечения безопасности и безопасности. AI агенты, потребляющие реальные данные в режиме реального времени, нуждаются в надежных механизмах защиты от эксплуатации.

Некоторые конкретные рекомендации для разработчиков включают:

• Изолировать искусственный интеллект от публичного интернета и фильтровать входные данные через стеки безопасности, такие как WAF, системы предотвращения потери данных и песочницы.
• Активно мониторить вызовы API, запросы к базе данных и потоки информации в системах искусственного интеллекта на предмет аномалий, указывающих на манипуляцию.
• Внедрить надежные средства контроля доступа, регулирующие, к каким данным может обращаться искусственный интеллект и какие действия может выполнять автономно. Принципы надежной сети доверия применяются.
• Непрерывно настраивать модели машинного обучения для обнаружения новых атак, таких как адверсарные примеры и отравление данных, направленное на введение в заблуждение искусственного интеллекта.
• Проводить обширное тестирование этики, чтобы выявить предвзятость, потенциал злоупотребления и непреднамеренные результаты до внедрения искусственного интеллекта. Прозрачность модели является ключевой.
• Применять подход “DevSecOps” с глубокой интеграцией практик безопасности на всем жизненном цикле машинного обучения.
• Использовать принципы, такие как SLSA для обеспечения безопасности поставки программного обеспечения, чтобы гарантировать целостность компонентов и зависимостей искусственного интеллекта.
• Обеспечивать строгое отслеживание происхождения тренировочных данных, моделей и конвейеров для возможности аудита и воспроизводимости.
• Встраивать возможности мониторинга моделей для обнаружения изменений, деградации и аномалий, указывающих на проблемы.

Маркстедтер подчеркнула, что практики безопасности прошлого недостаточны для будущего, насыщенного искусственным интеллектом. Разработчикам предоставляется возможность заложить крепкие основы безопасности, прежде чем искусственный интеллект станет всеобщим. Принимаемые сейчас прозактивные меры принесут экспоненциальные дивиденды в будущем, когда искусственный интеллект станет более способным и критичным для бизнес-операций.

Во многих отношениях путь только начинается. Но сообщение для разработчиков ясно — интегрируйте безопасность в искусственный интеллект с первого дня, используйте новые передовые практики и обеспечьте необходимую прозрачность для безопасной работы искусственного интеллекта в долгосрочной перспективе. С бдительностью и коллективной ответственностью обещание искусственного интеллекта может быть безопасно осуществлено.

В заключение, появление широко распространенного искусственного интеллекта требует от разработчиков полного пересмотра своего подхода к безопасности. Предположения, которые работали для защиты человеческих процессов, не применимы к AI ассистентам. Неучет специфических угроз AI на ранних этапах может иметь катастрофические последствия в долгосрочной перспективе, если недостаточно безопасные системы окажутся закрепленными.