Нора Петрова, Инженер машинного обучения и консультант по искусственному интеллекту в Prolific – Серия интервью

Интервью с Норой Петровой - инженером машинного обучения и консультантом по искусственному интеллекту в Prolific

Нора Петрова – инженер машинного обучения и консультант по искусственному интеллекту в Prolific. Prolific была основана в 2014 году и уже имеет в своих клиентах организации, такие как Google, Стэнфордский университет, Оксфордский университет, King’s College London и Европейская комиссия, используя свою сеть участников для тестирования новых продуктов, тренировки систем искусственного интеллекта в областях, таких как отслеживание взгляда, а также для определения того, работают ли их AI приложения, предназначенные для взаимодействия с людьми, таким образом, как их создатели намеревались.

Могли бы вы рассказать немного о вашем опыте работы в Prolific и о вашей карьере до настоящего времени? Что привлекло вас в AI?

Моя работа в Prolific состоит из консультирования в вопросах использования AI и поиска возможностей, а также практической работы в области машинного обучения. Я начала свою карьеру в области программирования и постепенно перешла к машинному обучению. Большую часть последних 5 лет я уделяла изучению применения NLP и решения задач в этой области.

Меня привлек интерес к AI в первую очередь способностью извлекать знания из данных и связью с тем, как мы, как люди, учимся и как устроен наш мозг. Я считаю, что машинное обучение и нейронаука могут дополнять друг друга и помочь нам лучше понять, как построить AI системы, способные ориентироваться в мире, проявлять креативность и приносить пользу обществу.

Какие самые серьезные проблемы связанные с предвзятостью в AI вы знаете?

Предвзятость присутствует в данных, которые мы используем для обучения AI моделей, и полностью избавиться от нее очень сложно. Однако важно осознавать предвзятости в данных и находить способы смягчать вредные виды предвзятости, прежде чем мы доверим модели важные задачи в обществе. Самые большие проблемы, с которыми мы сталкиваемся, – это модели, усиливающие вредные стереотипы, системные предрассудки и несправедливости в обществе. Мы должны помнить, как эти AI модели будут использоваться и какое влияние они окажут на пользователей, и гарантировать их безопасность перед одобрением для чувствительных сценариев использования.

Некоторые известные области, где AI модели проявляют вредную предвзятость, включают дискриминацию непредставленных групп при приёме в школу и университет, а также негативное влияние гендерных стереотипов на найм женщин. Кроме того, в США было обнаружено, что алгоритм уголовной юстиции в два раза чаще ошибочно помечал афро-американских обвиняемых как “высокий риск”, чем белых обвиняемых, а технология распознавания лиц до сих пор испытывает высокий уровень ошибок при работе с меньшинствами из-за недостатка представительных тренировочных данных.

Приведенные примеры охватывают лишь малую часть предвзятости, которую проявляют AI модели, и мы можем предвидеть появление еще больших проблем в будущем, если сейчас не приступим к смягчению предвзятости. Важно помнить, что AI модели учатся на данных, содержащих эти предвзятости из-за решений, принятых людьми под влиянием непроверенных и бессознательных предубеждений. Во многих случаях предоставление решения человеку может не устранить предвзятость. Действительное смягчение предвзятости будет включать понимание того, как они присутствуют в данных, которые мы используем для обучения моделей, выявление факторов, которые способствуют предвзятым предсказаниям, и коллективное решение, на чем мы хотим основывать важные решения. Разработка набора стандартов, чтобы мы могли оценить модели на безопасность, прежде чем использовать их в чувствительных сценариях использования, будет важным шагом вперед.

Галлюцинации AI – это серьезная проблема при использовании генеративного искусственного интеллекта. Можете ли вы объяснить, как тренировка с участием человека помогает смягчить эти проблемы?

Галлюцинации в AI моделях являются проблемой особенно в случаях использования генеративного искусственного интеллекта, но важно отметить, что они сами по себе не являются проблемой. В некоторых творческих применениях генеративного AI галлюцинации приветствуются и способствуют более креативному и интересному ответу.

Проблема возникает в случаях, когда надежная фактическая информация имеет ключевое значение, например, в области здравоохранения, где необходимо принимать обоснованные решения. Термин “человек-в-петле” (HITL) относится к системам, которые позволяют людям давать прямую обратную связь модели для прогнозов, которые имеют уровень уверенности ниже определенного порога. В контексте галлюцинаций, HITL может использоваться для помощи моделям научиться, какой уровень уверенности иметь в различных случаях использования перед выдачей ответа. Эти пороги будут различаться в зависимости от случая использования, и обучение моделей различиям в строгости, необходимой для ответов на вопросы из разных сценариев использования, будет ключевым шагом для смягчения проблемных галлюцинаций. Например, в случае юридического использования люди могут показать AI моделям, что проверка фактов является обязательным шагом при ответе на вопросы, основанные на сложных юридических документах с множеством пунктов и условий.

Как искусственный интеллект, такой как аннотаторы данных помогают уменьшить потенциальные проблемы с предвзятостью?

В первую очередь, искусственный интеллект может помочь в идентификации предвзятости, присутствующей в данных. Как только предвзятость была определена, становится легче разработать стратегии борьбы с ней. Аннотаторы данных также могут помочь в разработке способов уменьшения предвзятости. Например, для задач обработки естественного языка они могут предложить альтернативные способы формулировки проблемных фраз текста, чтобы уменьшить предвзятость, содержащуюся в языке. Кроме того, разнообразие сотрудников в области искусственного интеллекта может помочь устранить проблемы с предвзятостью при разметке.

Как вы обеспечиваете, чтобы искусственный интеллект не намеренно проникал в систему и свои собственные человеческие предубеждения?

Это действительно сложная проблема, которая требует осмотрительности. Преодоление человеческой предвзятости практически невозможно, и сотрудники по искусственному интеллекту могут ненамеренно вкладывать свои предубеждения в модели искусственного интеллекта, поэтому важно разработать процессы, которые направляют сотрудников к наилучшим практикам.

Некоторые шаги, которые можно предпринять для минимизации человеческой предвзятости, включают:

  • Комплексное обучение сотрудников по искусственному интеллекту относительно бессознательных предвзятостей и предоставление им инструментов для идентификации и управления их собственной предубежденностью в процессе разметки.
  • Контрольные списки, которые напоминают сотрудникам по искусственному интеллекту проверять свои ответы перед отправкой.
  • Проведение оценки, которая проверяет уровень понимания сотрудников по искусственному интеллекту, где им показываются примеры ответов, связанных с различными типами предвзятости, и они должны выбрать наименее предубежденный ответ.

Регуляторы по всему миру стремятся регулировать выход продуктов искусственного интеллекта, что, на ваш взгляд, они неправильно понимают, и что они делают правильно?

Важно отметить, что это действительно сложная проблема, и никто пока не нашел решение. Общество и искусственный интеллект будут развиваться и влиять друг на друга таким образом, что очень трудно предсказать. Часть эффективной стратегии по разработке надежных и полезных правил регулирования заключается в тщательном наблюдении за тем, что происходит в области искусственного интеллекта, как на это отвечают люди и какие последствия это имеет для различных отраслей.

Я думаю, что значительное препятствие для эффективного регулирования искусственного интеллекта заключается в недостаточном понимании того, что могут и что не могут делать модели искусственного интеллекта и как они работают. Это, в свою очередь, затрудняет точное предсказание последствий, которые будут иметь эти модели на различные отрасли и общество в целом. Еще одна недостаточная область – это проблема лидерства в мышлении о том, как выровнять модели искусственного интеллекта с человеческими ценностями и что означает безопасность в более конкретных терминах.

Регуляторы сотрудничают с экспертами в области искусственного интеллекта, стараются не подавлять инновации чрезмерно строгими правилами в отношении искусственного интеллекта и начинают рассматривать последствия использования искусственного интеллекта для замещения рабочих мест, что является очень важными аспектами. Важно двигаться осторожно, поскольку наши мысли о регулировании искусственного интеллекта проясняются со временем, и вовлекать в эту проблему как можно больше людей, чтобы подойти к этому вопросу демократически.

Как Prolific Solutions может помочь предприятиям уменьшить предвзятость искусственного интеллекта и другие обсуждаемые проблемы?

Сбор данных для проектов искусственного интеллекта не всегда был рассмотрен как процесс, требующий обдуманности. Раньше мы наблюдали захват, перемещение за рубеж и другие методы. Однако то, как мы обучаем искусственный интеллект, критично, и следующее поколение моделей потребует систематического сбора высококачественных данных от реальных людей и от тех, с кем у вас есть прямой контакт. Здесь идет работа Prolific.

Другие области, такие как опросы, маркетинговые и научные исследования, давно поняли это. Публика, из которой вы выбираете выборку, оказывает большое влияние на получаемые результаты. Искусственный интеллект начинает догонять, и мы приходим к перелому.

Сейчас самое время начать заботиться о том, чтобы использовать лучшие выборки и работать с более представительными группами для обучения и усовершенствования искусственного интеллекта. Оба аспекта являются ключевыми для разработки безопасных, непредвзятых и соответствующих моделей.

Prolific может помочь предприятиям предоставить подходящие инструменты для проведения исследований искусственного интеллекта безопасным образом и собирать данные от участников, при этом проверять и уменьшать предвзятость. Мы можем помочь в разработке рекомендаций по сбору данных, выбору, вознаграждению и справедливому обращению с участниками.

Каковы ваше мнение о прозрачности искусственного интеллекта, должны ли пользователи видеть, на каких данных обучается алгоритм искусственного интеллекта?

Я считаю, что прозрачность имеет свои плюсы и минусы, и хороший баланс еще не был достигнут. Компании скрывают информацию о данных, используемых для обучения их моделей искусственного интеллекта, из-за опасений судебных исков. Другие работают над обеспечением публичного доступа к своим моделям искусственного интеллекта и предоставляют всю информацию о данных, которые они использовали. Полная прозрачность открывает множество возможностей для эксплуатации уязвимостей этих моделей. Полная тайна не помогает установить доверие и вовлечь общество в создание безопасного искусственного интеллекта. Хороший компромиссный путь предоставляет достаточно прозрачности, чтобы укрепить доверие к тому, что модели искусственного интеллекта были обучены на качественных и соответствующих данных, на которые мы дали согласие. Нам нужно внимательно следить за тем, как искусственный интеллект влияет на различные отрасли, открывать диалог с заинтересованными сторонами и разрабатывать практики, которые будут работать для всех.

Я считаю, что также важно учитывать, что было бы удовлетворительным для пользователей с точки зрения объяснимости. Если они хотят понять, почему модель дает определенный ответ, то предоставление им исходных данных, на которых модель обучалась, скорее всего не поможет ответить на их вопрос. Таким образом, важно разрабатывать хорошие инструменты для объяснимости и интерпретируемости.

Исследования по выравниванию искусственного интеллекта направлены на то, чтобы направлять системы искусственного интеллекта к намерениям, предпочтениям или этическим принципам людей. Можете ли Вы обсудить, как обучаются работники по искусственному интеллекту и как это используется для обеспечения наилучшего соответствия искусственного интеллекта?

Это активная область исследований, и пока нет консенсуса относительно стратегий, которые мы должны использовать для выравнивания моделей искусственного интеллекта с человеческими ценностями или даже с набором ценностей, к которым мы должны стремиться.

Работники по искусственному интеллекту обычно просят представлять свои предпочтения и отвечать на вопросы относительно своих предпочтений правдиво, придерживаясь принципов безопасности, отсутствия предубежденности, безобидности и полезности.

Что касается выравнивания с целями, этическими принципами или ценностями, существует несколько подходов, которые выглядят многообещающими. Один известный пример – работа Института по выравниванию смысла на Демократическое уточнение. Здесь есть отличный пост, знакомящий с этой идеей.

Благодарю за отличное интервью и за то, что поделились своими взглядами на предвзятость искусственного интеллекта. Читатели, желающие узнать больше, могут посетить Prolific.