Понимание алгоритмического предвзятости типы, причины и примеры случаев

Understanding algorithmic bias types, causes, and examples.

Введение

Вы когда-нибудь задумывались, почему ваша лента социальных медиа кажется так точно предсказывает ваши интересы, или почему некоторые люди сталкиваются с дискриминацией при взаимодействии с системами искусственного интеллекта? Ответ часто кроется в алгоритмической предвзятости, сложной и всеобъемлющей проблеме в искусственном интеллекте. В этой статье будет раскрыто, что такое алгоритмическая предвзятость, ее различные аспекты, причины и последствия. Более того, она подчеркивает неотложную необходимость установления доверия к системам искусственного интеллекта, фундаментального предпосылки для ответственной разработки и справедливого использования искусственного интеллекта.

Что такое алгоритмическая предвзятость?

Алгоритмическая предвзятость – это когда компьютерная программа принимает несправедливые решения, потому что она училась на данных, которые не были полностью справедливыми. Представьте себе робота, который помогает определить, кто получит работу. Если он был обучен в основном на резюме мужчин и не знает много о квалификации женщин, он может несправедливо предпочесть мужчин при выборе кандидатов. Это не потому, что робот хочет быть несправедливым, а потому, что он учился на предвзятых данных. Алгоритмическая предвзятость происходит, когда компьютеры намеренно делают несправедливые выборы, подобные этим, из-за информации, которую им преподали.

Источник: LinkedIN

Виды алгоритмической предвзятости

Предвзятость данных

Она возникает, когда данные, используемые для обучения модели искусственного интеллекта, не представляют реальную популяцию, что приводит к неравномерным или несбалансированным наборам данных. Например, если система распознавания лиц обучается преимущественно на изображениях людей с светлой кожей, она может плохо справляться с распознаванием людей с темным оттенком кожи, что приводит к предвзятости данных, которая диспропорционально влияет на определенные расовые группы.

Предвзятость модели

Это предвзятость, которая возникает во время проектирования и архитектуры самой модели искусственного интеллекта. Например, если алгоритм искусственного интеллекта разработан для оптимизации прибыли любой ценой, он может принимать решения, которые ставят приоритет финансовым выгодам над этическими соображениями, что приводит к предвзятости модели в пользу максимизации прибыли в ущерб справедливости или безопасности.

Предвзятость оценки

Она происходит, когда критерии оценки производительности системы искусственного интеллекта являются предвзятыми. Например, это может быть образовательный алгоритм оценки, который использует стандартизированные тесты, которые предпочитают определенную культурную или социоэкономическую группу, что приводит к предвзятости оценки, поддерживающей неравенства в образовании.

Причины алгоритмической предвзятости

Несколько факторов могут вызвать алгоритмическую предвзятость, и важно понимать эти причины для эффективного устранения дискриминации. Вот некоторые основные причины:

Предвзятость обучающих данных

Одним из основных источников предвзятости являются предвзятые обучающие данные. Если данные, используемые для обучения системы искусственного интеллекта, отражают исторические предубеждения или неравенства, искусственный интеллект может учиться и поддерживать эти предвзятости. Например, если исторические данные о найме предвзяты против женщин или меньшинств, искусственный интеллект, используемый для найма, также может предпочитать определенные демографические группы.

Предвзятость выборки

Предвзятость выборки возникает, когда данные, используемые для обучения, не являются представительными для всей популяции. Например, если данные собраны в основном из городских районов, а не сельских, искусственный интеллект может плохо работать для сельских сценариев, что приводит к предвзятости против сельских населения.

Предварительная обработка данных

Способ предварительной очистки и обработки данных может внести предвзятость. Если методы предварительной обработки данных не были тщательно разработаны для устранения предвзятости, она может сохраняться или даже усиливаться в конечной модели.

Выбор признаков

Выбранные для обучения модели признаки могут внести предвзятость. Если признаки выбираются без учета их влияния на справедливость, модель может непреднамеренно предпочитать определенные группы.

Выбор модели и архитектуры

Выбор алгоритмов машинного обучения и архитектуры модели может способствовать предвзятости. Некоторые алгоритмы могут быть более подвержены предвзятости, а способ, которым модель разработана, может влиять на ее справедливость.

Человеческая предвзятость

Предубеждения людей, занимающихся проектированием и внедрением систем искусственного интеллекта, могут повлиять на результаты. Если команда разработки не является разнообразной или не обладает осведомленностью о проблемах предвзятости, она может непреднамеренно внести или пропустить предвзятость.

Историческая и культурная предвзятость

Системы искусственного интеллекта, обученные на исторических данных, могут унаследовать предвзятость от прошлых социальных норм и предубеждений. Эти предвзятости могут быть неактуальными или несправедливыми в современном контексте, но они все равно могут влиять на результаты искусственного интеллекта.

Неявные предубеждения в метках данных

Метки или аннотации, предоставленные для обучающих данных, могут содержать неявные предубеждения. Например, если люди, размечающие изображения, проявляют предвзятость, эти предубеждения могут передаваться в систему искусственного интеллекта.

Обратная связь

Системы искусственного интеллекта, взаимодействующие с пользователями и адаптирующиеся на основе их поведения, могут усиливать существующие предубеждения. Если предубеждения пользователей включены в рекомендации системы, это может создать обратную связь предубеждений.

Дрейф данных

Со временем данные, используемые для обучения моделей искусственного интеллекта, могут устареть или стать нерепрезентативными из-за изменений в обществе или технологии. Это может привести к снижению производительности и предубеждениям.

Обнаружение алгоритмических предубеждений

Обнаружение алгоритмических предубеждений является важным для обеспечения справедливости и равноправия в системах искусственного интеллекта. Вот этапы и методы обнаружения алгоритмических предубеждений:

Определение метрик справедливости

Начните с определения того, что означает справедливость в контексте вашей системы искусственного интеллекта. Учтите факторы, такие как раса, пол, возраст и другие защищенные атрибуты. Определите метрики, которые позволяют измерить справедливость, такие как различная воздействие, равные возможности или предиктивная согласованность.

Аудит данных

Анализ данных: Проведите тщательный анализ ваших обучающих данных. Ищите дисбалансы в представлении разных групп. Это включает изучение распределения атрибутов и проверку его соответствия демографическим данным реального мира.

Визуализации данных

Создайте визуализации, чтобы выявить любые неравенства. Гистограммы, точечные диаграммы и тепловые карты могут показать закономерности, которые не видны только через статистический анализ.

Оценка производительности модели

Оцените производительность вашей модели искусственного интеллекта для разных демографических групп. Используйте выбранные метрики справедливости для измерения неравенства в результатах. Вам может потребоваться разделить данные на подгруппы (например, по полу, расе) и оценить производительность модели в каждой подгруппе.

Алгоритмы, учитывающие справедливость

Рассмотрите возможность использования алгоритмов, которые явно учитывают предубеждения во время обучения модели. Эти алгоритмы направлены на снижение предубеждений и обеспечение справедливости предсказаний для разных групп.

Обычные модели машинного обучения не гарантируют справедливость, поэтому исследование специализированных библиотек и инструментов, сосредоточенных на справедливости, может быть полезным.

Инструменты обнаружения предубеждений

Используйте специализированные инструменты и программное обеспечение для обнаружения предубеждений. Многие инструменты справедливости искусственного интеллекта могут помочь идентифицировать и количественно оценить предубеждения в ваших моделях. Некоторые популярные из них включают IBM Fairness 360, AI Fairness 360 и Aequitas.

Эти инструменты часто предоставляют визуализации, метрики справедливости и статистические тесты для оценки и представления предубеждений более доступным способом.

Внешний аудит

Рассмотрите возможность привлечения внешних аудиторов или экспертов для оценки вашей системы искусственного интеллекта на предмет предубеждений. Независимые обзоры могут дать ценные идеи и обеспечить объективность.

Отзывы пользователей

Поощряйте пользователей предоставлять отзывы, если они считают, что они столкнулись с предубеждением или несправедливым отношением со стороны вашей системы искусственного интеллекта. Обратная связь пользователей может помочь выявить проблемы, которые могут не быть очевидными с помощью автоматических методов.

Этический обзор

Проведите этический обзор процесса принятия решений вашей системы искусственного интеллекта. Проанализируйте логику, правила и критерии, которые модель использует для принятия решений. Обеспечьте соблюдение этических руководств.

Непрерывное мониторинг

Алгоритмические предубеждения могут изменяться в результате изменений в данных и образцах использования. Реализуйте непрерывный мониторинг для обнаружения и устранения предубеждений в реальных сценариях.

Убедитесь, что ваша система искусственного интеллекта соответствует соответствующим законам и правилам, регулирующим справедливость и дискриминацию, таким как Общий регламент по защите данных (GDPR) в Европе или Закон об равных возможностях в кредитовании в Соединенных Штатах.

Документация

Тщательно задокументируйте ваши усилия по обнаружению и устранению предубеждений. Эта документация может быть важной для прозрачности, ответственности и соблюдения регуляторных требований.

Итеративный процесс

Обнаружение и снижение предубеждений – это итеративный процесс. Постоянно улучшайте ваши модели и процессы сбора данных, чтобы снизить предубеждения и повысить справедливость со временем.

Кейс-стадии

Алгоритм Amazon дискриминировал женщин

Автоматизированная система подбора персонала Amazon, разработанная для оценки квалификации кандидатов на вакансии, непреднамеренно проявляла гендерный предвзятость. Система училась на резюме, представленных предыдущими кандидатами, и, к сожалению, поддерживала недостаточное представительство женщин в технических ролях. Эта предвзятость проистекала из исторического отсутствия женщин в таких должностях, что привело к несправедливому предпочтению мужчин-кандидатов. В результате женщины получали более низкие оценки. Несмотря на усилия по устранению проблемы, Amazon в конечном итоге прекратил использование этой системы в 2017 году.

Расовая предвзятость в системе COMPAS по повторным правонарушениям

Система Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) стремилась предсказать вероятность повторных правонарушений в Соединенных Штатах. Однако расследование ProPublica в 2016 году показало, что система COMPAS проявляла расовую предвзятость. Хотя она правильно предсказывала повторные правонарушения для примерно 60% черных и белых подсудимых, она проявляла следующие предвзятости:

  • Неправильно классифицировала значительно больший процент черных подсудимых как более высокий риск по сравнению с белыми подсудимыми.
  • Неправильно помечала белых подсудимых как низкий риск, которые впоследствии повторно совершали правонарушения, по сравнению с черными подсудимыми.
  • Классифицировала черных подсудимых как более высокий риск даже при учете других факторов, таких как предыдущие преступления, возраст и пол, что делало их на 77% более вероятными для отнесения к категории высокого риска по сравнению с белыми подсудимыми.

Алгоритм здравоохранения США недооценивал потребности черных пациентов

Алгоритм, используемый американскими больницами для предсказания необходимости дополнительного медицинского ухода у пациентов, непреднамеренно отражал расовые предубеждения. Он оценивал потребности пациентов в здравоохранении на основе истории расходов на медицинские услуги, предполагая, что стоимость коррелирует с потребностями в здравоохранении. Однако этот подход не учитывал различия в способах оплаты здравоохранения черных и белых пациентов. Черные пациенты чаще оплачивали активные вмешательства, такие как экстренные посещения больницы, несмотря на наличие неуправляемых заболеваний. В результате черные пациенты получали более низкие показатели риска, были категоризированы вместе с более здоровыми белыми пациентами по стоимости и не квалифицировались для дополнительного ухода в такой же степени, как белые пациенты с аналогичными потребностями.

Чатбот Tay распространял дискриминационные твиты

В 2016 году Microsoft запустил чатбота под названием Tay в Twitter, с намерением, чтобы он учился на неформальных разговорах с другими пользователями. Несмотря на намерение Microsoft моделировать, очищать и фильтровать “соответствующую публичную информацию”, в течение 24 часов Tay начал публиковать твиты, которые были расистскими, трансфобными и антисемитскими. Tay учился дискриминационному поведению от взаимодействий с пользователями, которые подавали ему провокационные сообщения. Этот случай показывает, как искусственный интеллект быстро усваивает негативные предубеждения при воздействии вредного контента и взаимодействия в онлайн-среде.

Как построить доверие к искусственному интеллекту?

Доверие является основой успешного принятия искусственного интеллекта. Когда пользователи и заинтересованные стороны доверяют системам искусственного интеллекта, они более склонны принять и воспользоваться их возможностями. Построение доверия к искусственному интеллекту начинается с устранения алгоритмического предвзятости и обеспечения справедливости во всем процессе разработки и внедрения системы. В этом разделе мы рассмотрим основные стратегии построения доверия к искусственному интеллекту путем смягчения алгоритмической предвзятости:

Шаг 1: Прозрачность и объяснимость

Открыто общайтесь о том, как работает ваша система искусственного интеллекта, включая ее цели, источники данных, алгоритмы и процессы принятия решений. Прозрачность способствует пониманию и доверию.

Обеспечьте объяснения принятых искусственным интеллектом решений или рекомендаций. Пользователи должны понимать, почему искусственный интеллект сделал определенный выбор.

Шаг 2: Ответственность и управление

Установите четкие линии ответственности за системы искусственного интеллекта. Назначьте ответственных лиц или команды, которые будут контролировать разработку, внедрение и поддержку искусственного интеллекта.

Разработайте системы управления и протоколы для решения ошибок, предубеждений и этических проблем. Обеспечьте наличие механизмов для принятия корректирующих мер при необходимости.

Шаг 3: Искусственный интеллект, учитывающий справедливость

Используйте алгоритмы, учитывающие справедливость, в процессе разработки модели для снижения предвзятости. Эти алгоритмы стремятся обеспечить равные результаты для различных демографических групп.

Регулярно проверяйте системы искусственного интеллекта на предмет справедливости, особенно в случаях, связанных с высокими рисками, такими как кредитование, найм персонала и здравоохранение. Применяйте корректирующие меры при обнаружении предвзятости.

Шаг 4: Разнообразие и инклюзивность

Способствуйте разнообразию и инклюзивности в командах разработки искусственного интеллекта. Разнообразная команда может лучше определить и устранить предвзятость, учитывая широкий спектр точек зрения.

Поощряйте разнообразие не только с точки зрения демографии, но и экспертизы и опыта, чтобы повысить справедливость систем искусственного интеллекта.

Шаг 5: Обучение и информированность пользователей

Обучайте пользователей и заинтересованные стороны о возможностях и ограничениях систем искусственного интеллекта. Предоставляйте обучение и ресурсы, чтобы помочь им эффективно и ответственно использовать искусственный интеллект.

Повышайте осведомленность о потенциальных предубеждениях в искусственном интеллекте и принимаемых мерах по их смягчению. Информированные пользователи склонны больше доверять рекомендациям искусственного интеллекта.

Шаг 6: Этические принципы

Разработайте и придерживайтесь набора этических принципов в разработке искусственного интеллекта. Обеспечьте, чтобы системы искусственного интеллекта уважали основные права человека, конфиденциальность и справедливость.

Сообщите организационное принятие этической практики и принципов искусственного интеллекта, чтобы построить доверие с пользователями и заинтересованными сторонами.

Шаг 7: Непрерывное совершенствование

Внедрите механизмы для сбора обратной связи от пользователей о производительности и справедливости систем искусственного интеллекта. Внимательно слушайте заботы пользователей и предложения по улучшению.

Используйте обратную связь для итеративного улучшения системы искусственного интеллекта, демонстрируя приверженность отзывчивости и непрерывному совершенствованию.

Шаг 8: Соблюдение регулирующих требований

Будьте в курсе и соблюдайте соответствующие регулирующие требования, касающиеся искусственного интеллекта и защиты данных. Соблюдение законных требований является фундаментом доверия.

Шаг 9: Независимые аудиты и валидация третьей стороной

Рассмотрите проведение независимых аудитов или оценок ваших систем искусственного интеллекта третьей стороной. Внешняя проверка может обеспечить дополнительный уровень доверия и надежности.

Заключение

В искусственном интеллекте решение проблемы алгоритмического предвзятости является важным для обеспечения доверия и справедливости. Предвзятость, не оправданная вниманием, поддерживает неравенства и подрывает веру в системы искусственного интеллекта. В данной статье раскрыты источники, реальные последствия и далеко идущие последствия.

Для построения доверия к искусственному интеллекту требуются прозрачность, ответственность, разнообразие и непрерывное совершенствование. Это нескончаемый путь к справедливому искусственному интеллекту. В своем стремлении к этой общей цели рассмотрите следующий шаг с программой Analytics Vidhya BB+. Здесь вы можете углубить свои навыки в области искусственного интеллекта и науки о данных, придерживаясь этического развития искусственного интеллекта.

Часто задаваемые вопросы