Компьютерное искусство в центре внимания битва ГКО за кибербезопасность

Битва ГКО за кибербезопасность компьютерное искусство в центре внимания

ЧатGPT и большие языковые модели (LLM) – это ранние признаки того, как генеративное искусственное интеллект (ГИИ) сформирует многие бизнес-процессы. Лидеры в области безопасности и управления рисками, в частности CISO и их команды, должны обеспечить безопасность способа построения и использования генеративного ИИ в их организации и преодолевать его воздействие на кибербезопасность. Уровень шума, масштаба и скорости принятия Генеративного ИИ (GenAI) привел к повышению осведомленности конечных пользователей об LLM, что привело к не контролируемому использованию LLM-приложений. Это также открыло ворота для бизнес-экспериментов и волны стартапов, основанных на ИИ, обещающих уникальные преимущества новых LLM и приложений GenAI. Многие проектные команды бизнеса и ИТ уже запустили инициативы по внедрению GenAI или собираются это сделать в ближайшем будущем.

В этой статье мы исследуем, как GenAI влияет на CISO и их стратегии в данной изменяющейся среде.

Бизнесы будут использовать генеративный ИИ для переосмысления будущих продуктов, услуг и операционного превосходства, независимо от безопасности.

Ключевые воздействия GenAI на CISO

CISO и команды по безопасности должны готовиться к воздействию генеративного ИИ в четырех разных областях.

• LLMOps против MLOps понимание различий
• Интерпретация случайных лесов
• Познакомьтесь с SynthIA (синтетическим интеллектуальным агентом) 7B-v1.3 Моделью Mistral-7B-v0.1, обученной на наборах данных Orca Style.

1. Использование

• Управлять и отслеживать, как организация “использует” GenAI: ChatGPT был первым примером; встроенные помощники GenAI в существующих приложениях будут следующим шагом. Эти приложения имеют уникальные требования безопасности, которые не удовлетворяются существующими контролами безопасности.
• Использование приложений GenAI, таких как большие языковые модели (LLM), из экспериментов бизнеса и неуправляемого принятия сотрудниками, создает новые поверхности атак и риски для личной конфиденциальности, конфиденциальных данных и интеллектуальной собственности организации.

2. Создание

• Обеспечивать безопасность предприятий, разрабатывающих приложения GenAI: Искусственные интеллект-приложения имеют расширенные площадки атаки и представляют новые потенциальные риски, требующие корректировки существующих практик безопасности приложений.
• Многие компании стремятся получить выгоду от своей интеллектуальной собственности и разрабатывать собственные приложения GenAI, что создает новые требования к безопасности приложений ИИ.

3. Защита

• Генеративный кибербезопасности ИИ: Получение задания для использования возможностей GenAI в целях улучшения безопасности и управления рисками, оптимизации ресурсов, защиты от новых методов атак или даже снижения затрат.
• Распространение чрезмерно оптимистичных анонсов о генеративном ИИ (GenAI) на рынках безопасности и управления рисками может привести к значительным улучшениям производительности и точности для команд безопасности, но может также привести к расточительству и разочарованиям.
• Инвестировать в разработку защитных методов ИИ

4. Атакован генеративным ИИ

• Использование GenAI злонамеренными актерами для развития своих методик или даже эксплуатации новых векторов атак благодаря разработке инструментов и методов GenAI.
• Атакующие будут использовать GenAI. Они начали с создания более реалистичного контента, ловушек фишинга и подражания деятельности людей в масштабе. Неопределенность о том, насколько успешно они смогут использовать GenAI для более сложных атак, потребует более гибких планов кибербезопасности.

Рекомендации для CISO

Для того чтобы решить различные воздействия генеративного ИИ на программы безопасности их организаций, главным информационным специалистам по безопасности (CISO) и их командам необходимо:

К 2027 году генеративный ИИ будет способствовать снижению ложных срабатываний в приложениях тестирования безопасности и обнаружения угроз на 30% путем уточнения результатов других методик для классификации безобидных и злонамеренных событий.

До 2025 года атаки, использующие генеративный ИИ, заставят организации, ориентированные на безопасность, снизить пороги обнаружения подозрительной активности, что приведет к большему числу ложных тревог и, следовательно, потребуется больше – а не меньше – человеческого ответа.

1. Инвестировать в разработку защитных методов ИИ

• Интерактивный угрозовый интеллект: Доступ к технической документации, угрозовому интеллекту от поставщика безопасности или совместно с другими (используя различные методы, включая инжиниринг запросов, получение усиленное генерацией и обращение к LLM-модели с использованием API).
• Адаптивная оценка рисков и профилирование
• Автоматизация инженерии безопасности: Генерация кода и плейбуков безопасности по требованию, используя разговорный подход.
• BAS
• Проверка на проникновение с применением GenAI

2. Приютите помощников безопасной разработки приложений

Инструменты генерации кода (например, GitHub Copilot, Open AI Codex, Amazon CodeWhisperer) внедряют функции безопасности, и инструменты безопасности приложений уже используют LLM-приложения. Некоторые примеры использования этих помощников безопасного кода включают:

Команды безопасности приложений

• Обнаружение уязвимости: выявление проблем во введенных поступах кода или путем сканирования исходного кода.
• Сокращение ложных срабатываний: используется в качестве подтверждающего слоя для других методов анализа кода, этот функционал анализирует предупреждение и связанный код, а затем указывает на то, почему это может быть ложным срабатыванием на обычном языке.
• Помощник автоматической устранения: предлагает обновления в коде для исправления выявленных уязвимостей как часть сгенерированного резюме результатов поиска.

Создайте процессы повторного обучения и обновления DevSecOPS, включая базы и тестирование проникновения, осуществляемые на основе BAS и GenAI.

Команды разработки программного обеспечения / команды разработки приложений

• Генерация кода: создает скрипт/код на основе ввода разработчиков, включая комментарии или инструкции на естественном языке или действует как инструмент продвинутого автодополнения кода. Некоторые инструменты также могут указывать на то, похож ли созданный код на проект с открытым исходным кодом или помогать проверить соответствие кода (сгенерированного или написанного человеком) стандартным практикам безопасности промышленности.
• Создание модульных тестов: предлагает серию тестов для представленной функции, чтобы гарантировать, что ее поведение ожидаемо и она устойчива к вредоносным данным.
• Документация кода: создает объяснения того, что делает определенный код или какое воздействие оказывает изменение кода.

Хотя примеры использования легко определить, все еще слишком рано иметь соответствующие качественные измерения для этих помощников.

3. GenAI в операциях безопасности и наборе инструментов для операций безопасности

• Определите приоритет участия безопасных ресурсов для случаев с прямыми финансовыми и брендовыми последствиями, такими как автоматизация кода, генерация контента для клиентов и команды, работающие с клиентами, такие как службы поддержки.
• Оцените сторонние продукты безопасности по независимым контроли (например, IAM, управлению данными и функциям SSE) и специфической для ИИ безопасности (например, мониторингу, контролю и управлению LLM-входами.)
• Приготовьтесь оценить появляющиеся продукты, позволяющие безкодовую настройку подсказок.
• Тестируйте появившиеся продукты, которые проверяют и анализируют результаты на возможное распространение дезинформации, галлюцинаций, фактических ошибок, предвзятости, нарушений авторских прав и другой недобросовестной или нежелательной информации, которую может создать технология и которая может привести к непреднамеренным или вредным результатам. Вместо этого реализуйте промежуточный процесс ручной проверки.
• Постепенно внедряйте автоматические действия только с учетом предварительно установленных метрик отслеживания точности. Обеспечьте возможность быстрого и легкого отката любого автоматизированного действия.
• Учитывайте требования прозрачности моделей LLM при оценке сторонних приложений. Во-первых, инструменты не включают необходимую видимость действий пользователей.
• Рассмотрите преимущества безопасности частного размещения более компактных или доменно-специфичных LLM, но работайте с инфраструктурными и прикладными командами, чтобы оценить инфраструктурные и операционные риски.
• Начните эксперименты с “генеративной кибербезопасностью ИИ”, начиная с чат-помощников для центров безопасности операций (SOC) и безопасности приложений. INOCPA AI высокоэффективно использована во многих инструментах операций безопасности от таких поставщиков, как Microsoft, Google, Sentinel One и CrowdStrike. Эти инструменты имеют потенциал повысить продуктивность и квалификацию обычного администратора, а также улучшить результаты безопасности и коммуникацию.
• Первая волна внедрения GenAI в инструментах SOC (например, Microsoft Security CoPilot)  состоит из разговорных подсказок, заменяющих существующие функции поиска на основе запросов и являющихся интерфейсом для пользователей. Этот новый интерфейс упрощает работу с инструментом, сокращая время обучения и позволяя более широкому кругу пользователей воспользоваться инструментами. Эти функции GenAI будут все больше внедряться в существующие инструменты безопасности, чтобы повысить профессионализм и продуктивность операторов. Первые реализации этих подсказок поддерживают анализ угроз и рабочие процессы их обнаружения:
• Обогащение предупреждения: автоматически добавлять контекстную информацию к предупреждению, включая разведку угроз или категоризацию в известных рамках.
• Объяснение оценки предупреждений/риска: совершенствует существующие механизмы оценки для выявления ложных срабатываний или добавляет информацию в существующий модуль оценки риска.
• Выделение атаки/суммирование угрозы: собирает несколько предупреждений и доступной телеметрии для подведения итогов с учетом целевых потребностей читателей.
• Помощник в митигации: предлагает изменения в безопасности контроля и новые или улучшенные правила обнаружения.
• Документация: разрабатывает, управляет и поддерживает согласованную документацию по политикам безопасности и bewt практикам и процедурам.

</ul

Чат-боты для операций безопасности упрощают обнаружение информации из инструментов SOС. Однако требуются опытные аналитики для оценки качества результатов, обнаружения потенциальных иллюзий и принятия соответствующих мер в соответствии с требованиями организации.

Примечание: Большинство этих инструментов находятся на ранних стадиях развития (как с точки зрения возможностей, так и с точки зрения ценообразования); они выглядят многообещающими, но имейте в виду!! — Новизна может заключаться в основном в интерактивности, которая имеет ценность, но возможности поиска и анализа уже доступны.

4. Разработайте ответственную и надежную AI-систему (RTAF)

5. Принимайте комплексный подход к управлению рисками и безопасностью (RSM)

6. Переопределите и укрепите рабочие процессы управления

• Сотрудничайте с представителями организации, которые являются активными участниками в GenAI, такими как юристы и соответствие правилам и линии бизнеса, чтобы сформулировать политику пользователя, обучение и руководство. Это поможет минимизировать несанкционированное использование GenAI и уменьшить риск нарушения конфиденциальности и авторских прав.
• Обязательно использовать RTAF и RSM при разработке новых приложений первой стороны или использовании новых сторонних приложений на основе ЯПМ и GenAI.
• Разработайте корпоративную политику, которая четко перечисляет правила управления, включает все необходимые рабочие процессы и использует классификацию данных для ограничения использования конфиденциальных данных в подсказках и сторонних приложениях.
• Определите рабочие процессы для учета, утверждения и управления использованием GenAI. Включите «генеративное ИИ как функцию» при обновлении программного обеспечения существующих продуктов.
• Классифицируйте сценарии использования, имеющие наибольшее потенциальное влияние на бизнес, и определите команды, которые наиболее склонны быстро запустить проект.
• Определите новые требования управления риском поставщиков, использующих GenAI.
• Получите и проверьте заверения по государственному управлению и защите данных хостинг-поставщиков, что конфиденциальная корпоративная информация, передаваемая в его модель языка (LLM), например, в форме сохраненных подсказок, не будет компрометирована. Эти заверения получаются через договорные лицензионные соглашения, поскольку инструменты проверки конфиденциальности, работающие в хостинг-окружениях, еще не доступны.
• Укрепите методы оценки уязвимости перед непредсказуемыми угрозами и измерением изменений эффективности их контроля, поскольку невозможно предугадать, как и насколько злонамеренные актеры могут использовать GenAI.
• Сформулируйте политику пользователя, обучение и руководство, чтобы минимизировать несанкционированное использование GenAI, а также риски нарушения конфиденциальности и авторских прав.
• Предусмотрите необходимые оценки влияния, требуемые правилами конфиденциальности и искусственного интеллекта, такими как Общий регламент о защите данных (GDPR) ЕС и будущий Закон об искусственном интеллекте.

Основные проблемы и рекомендации при внедрении генеративного ИИ в кибербезопасность

• Генеративный ИИ в кибербезопасности повлияет на команды по безопасности и управлению рисками, но руководители по безопасности также должны подготовиться к “внешнему / косвенному” влиянию GenAI на программы безопасности, таким как анализ RFP с помощью ИИ, аннотации кода и многие другие функции генерации и автоматизации, затрагивающие соответствие, HR и многие другие команды.
• Конфиденциальность и зависимость от сторонних поставщиков: Поскольку поставщики спешат выпустить новые функции, многие из них используют сторонние модели языка, используя API для взаимодействия с поставщиком GenAI или используя сторонние библиотеки или модели напрямую. Такая новая зависимость может создавать проблемы конфиденциальности и вызывать сложности в управлении рисками со стороны сторонних поставщиков.
• Продуктивность сотрудников в краткосрочной перспективе: Будет ли обогащение алертов уменьшать утомляемость от диагностики или же только ухудшать ее путем добавления сгенерированного контента? Молодые сотрудники могут просто утомляться от объема данных, поскольку они не могут определить, имеет ли она смысл.
• Затраты: Многие новые функции и продукты генеративного ИИ в кибербезопасности в настоящее время находятся на частной бете или предварительном просмотре. Информация о влиянии этих функций на цены на решения безопасности пока недостаточна. Коммерческие модели обычно ценообразуются на основе объема используемых токенов, и поставщики безопасности, вероятно, заставят своих клиентов платить за них. Обучение и разработка модели также являются затратными. Стоимость использования GenAI может быть намного выше, чем стоимость других методов, решающих ту же задачу.
• Качество: Для большинства ранних реализаций приложений генеративного ИИ в кибербезопасности организации будут стремиться к “достаточно хорошему” и базовому усилению навыков. В большинстве моих тестов/экспериментов оценки результатов средства безопасности кода выяснилось, что качество дает неоднозначные результаты (50-60% успешности). Функции интеллектуальной угрозы (TI) и оценки алертов могут быть предвзятыми из-за тренировочного набора модели или наличия иллюзии (фальсифицированные неточные результаты).
• Стремление к среднему против современного уровня: Для специализированных случаев использования, таких как ответ на инциденты в случае продвинутых атак, качество результатов, выданных GenAI, может не соответствовать стандартам наиболее опытных команд. Это происходит потому, что его результаты частично происходят из обучающих наборов данных, полученных от практик с более низкой зрелостью.

Риски от несанкционированного использования приложений LLM

• Раскрытие конфиденциальной информации: Правила использования данных, отправленных в приложение, могут отличаться у разных поставщиков. Предприятия не могут проверить, остаются ли их данные конфиденциальными, согласно заявлениям поставщика. Они должны полагаться на лицензионные соглашения поставщика для обеспечения конфиденциальности данных.
• Возможные нарушения авторских прав / интеллектуальной собственности: Ответственность за нарушение авторских прав, вызванное генерируемыми результатами (на основе данных, которые организации не могут идентифицировать), ложится на пользователей и предприятия, использующие эти результаты. Могут существовать также правила использования для полученных результатов.
• Предвзятые, неполные или неверные ответы: Риск “галлюцинаций ИИ” (поддельных ответов) реален! Вдобавок, ответы могут быть неверными (например, с точки зрения практики, техники, синтаксиса и т. д.) из-за предвзятых, фрагментированных или устаревших наборов обучающих данных.
• Нарушения политик ввода и вывода контента LLM: Предприятия могут контролировать вводы, используя устаревшие средства безопасности, но им необходим еще один уровень контроля, чтобы обеспечить соответствие созданного выхода политическим руководствам организации — например, в отношении передачи вопросов, нарушающих предустановленные этические руководящие принципы. Выводы LLM также должны быть проконтролированы, чтобы соответствовать политике компании — например, в отношении контента, наносящего вред в доменной области. Устаревшие средства безопасности не обеспечивают этот тип контроля над конкретной доменной политикой.
• Ущерб для бренда / репутации: Помимо путаницы в “перегенерации ответа” или “как модель ИИ языка”, клиенты вашей организации, скорее всего, ожидают определенного уровня прозрачности.

Четыре модели потребления приложений GenAI

1. Приложения или агенты третьих сторон: Например, веб-версии или мобильные приложения ChatGPT (из коробки).

2. Внедрение генеративного искусственного интеллекта в корпоративные приложения: Организации могут напрямую использовать коммерческие приложения, в которые уже встроены возможности GenAI. Примером может быть использование установленного программного приложения (см. шаблоны AI-дизайна для крупных моделей языка), которое теперь включает LLM (например, Microsoft 365 Copilot или возможности генерации изображений, такие как Adobe Firefly).

3. Встраивание моделей через API в пользовательские приложения: Организации могут создавать собственные приложения, интегрировать GenAI через API базовой модели. Большинство закрытых моделей GenAI, таких как GPT-3, GPT-4 и PaLM, доступны для развертывания через облачные API. Этот подход может быть уточнен с помощью промпт-инжиниринга — включая использование шаблонов, примеров или собственных данных организации — для лучшей информированности вывода LLM. Пример: использование частной базы документов для поиска соответствующих данных, чтобы добавить их к промпту базовой модели и улучшить ответ с помощью дополнительной релевантной информации.

4. Улучшение GenAI с помощью донастройки: Донастройка берет базовую модель LLM и дополнительно обучает ее на небольшом наборе данных для определенного случая использования. Например, банк может донастроить базовую модель собственными терминами и политиками, знаниями о клиентах и рисках, чтобы повысить ее производительность в отношении конкретных случаев использования. Подходы промпт-инжиниринга ограничены контекстным окном моделей, тогда как донастройка позволяет включить более крупный корпус данных.

Интеграция моделей третьих сторон и донастройка стирают границу между потреблением и созданием собственного приложения GenAI.

Не все LLM могут быть донастроены.

Создание собственного кода для интеграции или частной хостинг моделей третьих сторон требует от команд безопасности расширить свои контроли за пределы требуемых для потребления сторонних AI-сервисов, приложений или агентов, добавляя инфраструктуру и атаки на внутренние жизненные циклы приложений.

Семь тактик для лучшего контроля потребления GenAI

Возможности предотвращения несанкционированного использования ограничены, особенно учитывая, что сотрудники могут получить доступ к приложениям GenAI и коммерческим или открытым LLM с неконтролируемых устройств. Руководители по безопасности должны понимать, что блокировка известных доменов и приложений не является устойчивым и полным вариантом. Это также приведет к “обходу пользователя”, при котором сотрудники будут передавать корпоративные данные на неконтролируемые персональные устройства для доступа к инструментам. Многие организации уже перешли от блокировки к странице “одобрения” с ссылкой на политику организации и формой для подачи заявки на доступ. Организации могут использовать семь тактик, чтобы лучше контролировать потребление GenAI.

1. Разработать ответственную и надежную AI-структуру (RTAF)

2. Подходить интегрированным образом к управлению рисками и безопасностью (RSM)

3. Определить орган управления и рабочий процесс: Немедленной целью является установление инвентаря для всех бизнеса и проектов и определение допустимых вариантов использования и требований к политике. Приложения GenAI могут требовать специфические процедуры согласования и непрерывного мониторинга использования, а также периодических заявлений пользователей о соответствии фактического использования заранее заданным намерениям.

4. Отслеживать и блокировать: Организации должны планировать блокировку доступа к доменам OpenAI или применять некоторые меры предотвращения утечки данных, используя существующие средства безопасности или развертывая решения краевой службы безопасности (SSE), которые могут перехватывать веб-трафик к известным приложениям.

5. Непрерывное информирование о короткой политике допустимого использования: Часто можно использовать одно- или двухстраничный документ с политикой для предоставления внутренних контактов для согласования, подчеркивания рисков приложений, запрета использования клиентских данных и запроса документации и прослеживаемости создаваемых этими приложениями результатов.

6. Исследовать и принять наблюдаемость для оперативной работы и интеграции через API: Перехват входных и выходных данных с помощью собственных промптов может улучшить результаты, но также обеспечить больше средств безопасности. Крупные организации могут исследовать методы увеличения промптов, такие как Retrieval Augmented Generation (RAG).

7. Возможны приватные варианты хостинга, которые обеспечивают дополнительные средства безопасности и контроля конфиденциальности.

Потребление генеративного ИИ – новая атакующая поверхность

Как и любая инновация или новая технология (например, метавселенная, криптовалюта), злоумышленники будут искать творческие способы использования несовершенства практик безопасности и осведомленности о безопасности генеративного ИИ.

Самый большой риск генеративного ИИ заключается в его потенциале быстрого создания правдоподобного поддельного контента для влияния на общественное мнение и предоставления видимо законного контента для добавления слоя подлинности к мошенническим схемам.

При обеспечении безопасности потребления генеративного ИИ CISO и их команды должны учесть следующие изменения атакующей поверхности:

• Противниковые промпты: Прямое и косвенное использование промптов является важной атакующей поверхностью. Понятие “внедрение промпта” и “противниковые промпты” возникает как угрозы при потреблении генеративных ИИ-приложений третьих сторон или при их создании. Ранние исследования показывают, как можно использовать промпты приложений. Службы безопасности должны рассматривать этот новый интерфейс как потенциальную атакующую поверхность.

“Внедрение промпта” – это противниковая техника промпта. Она описывает возможность вставки скрытых инструкций или контекста в разговорные или системные интерфейсы приложения или в сгенерированный контент.

• Генеративный ИИ как манка: Популярность генеративного ИИ приведет к значительному использованию темы в качестве приманки для привлечения жертв и как новой формы потенциального мошенничества. Ожидается появление поддельных приложений, дополнений для браузеров, приложений и веб-сайтов на основе генеративного ИИ.
• Цифровая поставочная цепочка: Злоумышленники будут использовать любые уязвимости в компонентах генеративного ИИ, которые будут широко применяться в виде микросервисов в популярных деловых приложениях. Эти подпрограммы могут подвергаться воздействию различных атак техники машинного обучения (ML), таких как манипуляция тренировочными данными и другие атаки на изменение ответа.
• Регулирования повлияют на потребление генеративного ИИ – Предстоящие регулирования являются потенциальной угрозой для организаций, потребляющих (и создающих) ИИ-приложения. Поскольку законы могут изменить требования к поставщикам, организации из строго регулируемых отраслей или регионов с более строгими законами о защите конфиденциальных данных, которые также активно пытаются принять регулирования ИИ, могут быть вынуждены приостановить или отклонить потребление приложений LLM. Уровень детализации может различаться в зависимости от чувствительности контента. Приложения и сервисы могут включать ведение журнала, но организации могут потребоваться внедрить собственный процесс для самого чувствительного контента, такого как код, правила и сценарии, развернутые в производстве.

ИИ добавляет новую атакующую поверхность к существующим приложениям

Рекомендации по безопасности и надежности ИИ-приложений

На высоком уровне, аспекты безопасности и надежности ИИ-приложений можно разделить на пять категорий:

1. Объяснимость и мониторинг модели
2. Модельные операции
3. Безопасность приложений ИИ
4. Конфиденциальность
5. Безопасные основы для платформы ИИ-приложений

Внедрение контролов для приложений GenAI будет в значительной степени зависеть от реализации модели ИИ. Объем контролов безопасности будет зависеть от шаблона использования ИИ, например, если приложение включает:

• Адаптация к гибридным моделям разработки, таким как обертывание фронт-энда (например, инжиниринг запросов), домашнее размещение сторонних моделей и настраиваемые приложения GenAI с дизайном и тонкой настройкой внутренних моделей.
• Учет возможностей защиты данных при обучении и настройке моделей, в том числе потенциальное влияние на точность или дополнительные затраты. Это следует сопоставить с требованиями современных законов о конфиденциальности, которые часто предусматривают возможность для отдельных лиц запросить удаление своих данных организациями.
• Повысить квалификацию ваших защитников безопасности, защитников программного обеспечения и чемпионов DevOps в практиках “Безопасного кодирования с использованием GenAI”.
• Обновить руководство по “Безопасному проектированию”, методологии разработки программного обеспечения (SDLC) с учетом безопасности
• Обновить руководство по “Безопасному по умолчанию” и Приватности по дизайну
• Применить Рамочную модель надежного и доверенного ИИ (RTAF) и Интегрированный подход к принципам управления рисками и безопасностью (IRSM).
• Дополнить политики тестирования требованиями к тестированию противоадверсарных запросов и внедрения запросов.
• Оценить и внедрить набор инструментов “Мониторинг операций модели”.

Перспектива полностью автоматизированной защиты

Основной препятствием в внедрении автоматических реакций не заключается в технических возможностях, а в ответственности заинтересованных сторон. Опасения руководителей по вопросам безопасности вызваны непрозрачностью внутренних механизмов и источников данных GenAI, что затрудняет прямое автоматизирование действий на основе результатов применения генерирующих приложений ИИ в кибербезопасности.

В ближайшие 6-9 месяцев многие поставщики безопасности представят функции, которые исследуют возможности композитного ИИ – интеграция нескольких моделей ИИ с дополнительными методиками. Например, модуль GenAI может генерировать стратегии устранения при обнаружении нового вредоносного ПО, и различные автономные агенты будут выполнять эти действия, которые могут включать изоляцию зараженного хоста, удаление непрочитанных электронных писем или обмен индикаторами компрометации (IOC) с другими организациями. Привлекательность автоматических действий для предотвращения атак, ограничения латерального перемещения или динамической настройки политик – это убедительное предложение для предприятий и технологических поставщиков, при условии его эффективности.

Однако возникают сложности при объяснении и документировании автоматических ответов. Ограничения в этом вопросе, особенно в критических операциях или при работе с персоналом первой линии, могут затруднить, но не полностью остановить автоматизацию ответов. Обязательные рабочие процессы с утверждениями и подробная документация станут необходимыми, пока организация не установит достаточно доверия в систему для постепенного расширения степени автоматизации. Эффективность объяснительных возможностей может даже стать отличительным фактором для поставщиков безопасности или юридическим требованием для определенных юрисдикций.

AI,Application security,Data (computing),mobile app,security,Security controls