‘Узнайте, как оценить риск систем искусственного интеллекта’

Раскройте, как оценить риск систем искусственного интеллекта

Искусственный интеллект (ИИ) — это быстро развивающаяся область с потенциалом улучшить и преобразить многие аспекты общества. В 2023 году темпы принятия ИИ-технологий ускорились благодаря разработке мощных фундаментальных моделей (ФМ) и значительному развитию возможностей генеративного ИИ.

В Amazon мы запустили несколько сервисов генеративного ИИ, таких как Amazon Bedrock и Amazon CodeWhisperer, и предоставили широкий спектр мощных генеративных моделей через Amazon SageMaker JumpStart. Эти сервисы разработаны для поддержки наших клиентов в освоении новых возможностей генеративного ИИ, включая улучшенное творчество, персонализированное и динамическое создание контента, а также инновационный дизайн. Они также позволяют ИИ-специалистам понимать мир, как никогда прежде, справляться с языковыми барьерами, изменением климата, ускорять научные открытия и многое другое.

Однако для реализации полного потенциала генеративного ИИ важно тщательно оценивать потенциальные риски. В первую очередь это полезно заинтересованным сторонам в системе ИИ, поскольку это способствует ответственному и безопасному развитию и внедрению, а также поощряет принятие проактивных мер для обращения с потенциальным воздействием. В результате оценка и управление рисками стало важным процессом, которым ИИ-специалисты должны заниматься, и стало ключевым компонентом многих новых стандартов индустрии ИИ (например, ISO 42001, ISO 23894 и NIST RMF) и законодательства (например, EU AI Act).

В этой статье мы рассмотрим, как оценить потенциальные риски вашей системы ИИ.

Какие уровни риска существуют?

Хотя может показаться проще начать рассматривать отдельную модель машинного обучения (МО) и связанные с ней риски в изоляции, важно рассмотреть детали конкретного применения такой модели и соответствующий пример использования в рамках полной системы ИИ. Фактически, типичная система ИИ, скорее всего, базируется на нескольких разных моделях МО, которые работают вместе, и организация может строить несколько различных систем ИИ. В результате риски могут быть оценены для каждого примера использования и на разных уровнях, а именно риск модели, риск системы ИИ и риск предприятия.

Риск предприятия охватывает широкий спектр рисков, с которыми организация может столкнуться, включая финансовые, операционные и стратегические риски. Риск системы ИИ фокусируется на влиянии, связанном с внедрением и функционированием систем ИИ, тогда как риск модели МО относится специально к уязвимостям и неопределенностям, свойственным моделям МО.

В данной статье мы сосредоточимся преимущественно на риске системы ИИ. Однако важно отметить, что все различные уровни управления рисками внутри организации должны быть рассмотрены и согласованы.

Как определяется риск системы ИИ?

Управление рисками в контексте системы ИИ может быть способом минимизировать влияние неопределенности или потенциально отрицательных последствий, предоставляя также возможности для максимизации положительного влияния. Сам риск не является потенциальным вредом, а представляет собой эффект неопределенности на цели. Согласно Методологии управления рисками NIST (NIST RMF), риск может быть оценен как мультипликативная мера вероятности возникновения события, умноженная на величины последствий соответствующего события.

Риск имеет два аспекта: врожденный риск и остаточный риск. Врожденный риск представляет собой количество риска, которое проявляет система ИИ без учета смягчающих мер или контроля. Остаточный риск отражает оставшиеся риски после учета стратегий смягчения.

Всегда имейте в виду, что оценка рисков – это деятельность, центрированная вокруг человека, требующая усилий всей организации; эти усилия варьируются от обеспечения участия всех заинтересованных сторон в процессе оценки (таких как продуктовые, инженерные, научные, продажи и команды безопасности) до оценки влияния социальных перспектив и норм на воспринимаемую вероятность и последствия определенных событий.

Почему ваша организация должна обратить внимание на оценку рисков?

Установление рамок управления рисками для ИИ-систем может принести пользу всему обществу, способствуя безопасному и ответственному проектированию, разработке и эксплуатации ИИ-систем. Фреймворки управления рисками также могут приносить пользу организациям в следующем:

  • Улучшенное принятие решений – Понимая риски, связанные с ИИ-системами, организации могут принимать более обоснованные решения о том, как смягчать эти риски и использовать ИИ-системы безопасным и ответственным образом
  • Повышенное планирование соответствия – Фреймворк оценки рисков может помочь организациям подготовиться к требованиям по оценке рисков в соответствующих законах и нормативных актах
  • Построение доверия – Демонстрируя, что они предпринимают шаги по смягчению рисков ИИ-систем, организации могут показать своим клиентам и заинтересованным сторонам, что они обязаны использовать ИИ безопасным и ответственным образом

Как оценить риск?

В качестве первого шага организация должна рассмотреть описание конкретного случая использования ИИ, который требует оценки, и определить всех заинтересованных сторон. Случай использования – это конкретный сценарий или ситуация, описывающая, как пользователи взаимодействуют с ИИ-системой для достижения определенной цели. Создавая описание случая использования, полезно указать решаемую бизнес-проблему, перечислить вовлеченных заинтересованных сторон, характеризовать рабочий процесс и предоставить детали относительно ключевых входных и выходных данных системы.

Что касается заинтересованных сторон, легко что-то упустить. Следующая схема является хорошей отправной точкой для картографирования ролей заинтересованных сторон в ИИ.

Источник: «Information technology – Artificial intelligence – Artificial intelligence concepts and terminology».

Важным следующим шагом оценки рисков ИИ-системы является определение потенциально вредоносных событий, связанных с конкретным случаем использования. Рассматривая эти события, полезно обратить внимание на различные аспекты ответственного использования ИИ, такие как справедливость и устойчивость. Разные заинтересованные стороны могут быть затронуты в разной степени в разных аспектах. Например, низкий уровень риска устойчивости для конечного пользователя может быть результатом незначительных нарушений работы ИИ-системы, в то время как низкий уровень риска справедливости может быть вызван незначительными различиями в результате работы ИИ-системы для разных демографических групп.

Чтобы оценить риск события, вы можете использовать шкалу вероятности в сочетании с шкалой серьезности для измерения вероятности наступления события и степени последствий. Полезной отправной точкой при разработке этих шкал могут быть NIST RMF, которая предлагает использовать качественные ненумерические категории, варьирующиеся от очень низкого до очень высокого риска, или полуколичественные оценочные принципы, такие как шкалы (например, от 1 до 10), диапазоны или иные репрезентативные числа. После того, как вы определили шкалы вероятности и серьезности для всех соответствующих аспектов, вы можете использовать схему матрицы рисков для количественной оценки общего риска для каждой заинтересованной стороны в каждом аспекте. На следующей схеме показан пример матрицы рисков.

Используя эту матрицу рисков, мы можем считать событие с низкой серьезностью и редкой вероятностью наступления очень низким риском. Имейте в виду, что исходная оценка будет предварительной оценкой врожденного риска, и стратегии смягчения рисков могут помочь дальнейшему снижению уровня риска. Затем процесс может быть повторен для получения оценки остаточного риска по событию. Если вы обнаружили несколько событий в одном аспекте, полезно выбрать наивысший уровень риска среди всех для создания окончательной сводки оценки.

Используя окончательную сводку оценки, организации должны определить, какие уровни риска приемлемы для их ИИ-систем, а также учесть соответствующие правила и политику.

Обязательство AWS

Через взаимодействие с Белым домом и ООН, среди прочих, мы стремимся делиться нашими знаниями и экспертизой для содействия ответственному и безопасному использованию искусственного интеллекта. В рамках этих усилий, на AI Safety Summit AWS представлен своим представителем Адамом Селипски вместе с главами государств и лидерами промышленности, что в дополнение подтверждает наше пристрастие к сотрудничеству в ответственном развитии искусственного интеллекта.

Вывод

По мере продвижения искусственного интеллекта становится все более важным и полезным проведение оценки рисков для организаций, которые стремятся создавать и использовать искусственный интеллект ответственно. Путем создания фреймворка оценки рисков и плана снижения рисков организации могут уменьшить вероятность возникновения возможных инцидентов, связанных с искусственным интеллектом, и завоевать доверие своих клиентов, а также получить преимущества, такие как повышенная надежность, улучшенная справедливость для различных демографических групп и другие.

Приступайте к разработке фреймворка оценки рисков в вашей организации и делитесь своими мыслями в комментариях.

Также ознакомьтесь с обзором рисков генеративного искусственного интеллекта, опубликованным на Amazon Science: Ответственный искусственный интеллект в генеративную эпоху, и изучите набор услуг AWS, которые могут поддержать вас на пути оценки и снижения рисков: Amazon SageMaker Clarify, Amazon SageMaker Model Monitor, AWS CloudTrail, а также фреймворк управления моделью.