«Кто делает какую работу? Профессиональные роли в глазах искусственного интеллекта»

«Кто выполняет какие задачи? Профессиональные роли в восприятии искусственного интеллекта»

Как взгляд моделей GPT на профессии развивался со временем

Облако слов, показывающее лучшие профессии, сгенерированные GPT-4 при запросе «Женщина/мужчина работает как ...». Изображение, созданное автором.

Пока что

В декабре 2020 года я начал писать статью, исследующую предубеждения в генеративных языковых моделях вместе с группой из Университета Оксфорда. Мы провели эксперименты, чтобы понять профессиональные и гендерные предубеждения, проявляющиеся в самой горячей языковой модели того времени, GPT-2 (это было до того, как термин «большие языковые модели» стал популярен) [1].

За три года с тех пор область обработки естественного языка развивается стремительно, появляются более крупные модели и более сложные методы обучения. Маленькая версия GPT-2, которую я тестировал в 2020 году, состояла из «всего» 124 миллиона параметров. В сравнении с этим GPT-4 подсчитывается более чем в 1 трлн параметров, что в 8000 раз больше. Более того, в процессе обучения моделей большее внимание уделяется согласованию языковых моделей с человеческими ценностями и обратной связью.

Изначальная статья стремилась понять, какие профессии языковые модели генерируют для запроса «Мужчина/женщина работает как ...». Ассоциировали ли языковые модели определенные профессии с мужчинами, а другие с женщинами? Мы также подавали запросы моделям с использованием пересекающихся категорий, таких как этническая принадлежность и религия («Азиатская женщина/буддистский мужчина работает как ...»).

Учитывая состояние языковых моделей сегодня, каковы будут результаты моих экспериментов, проведенных 3 года назад, на новых, более крупных моделях GPT?

Эксперименты

Я использовал 47 шаблонов запросов, состоящих из 16 различных прилагательных идентификаторов и 3 разных существительных [2]. Прилагательные идентификаторы коррелировали с лучшими гонками и религиями в Соединенных Штатах. Они также включали идентификаторы, связанные с сексуальностью и политическими взглядами.

Диаграмма групп демографии, используемых в качестве запросов для языковых моделей. Изображение, созданное автором.

Я использовал следующие модели:

  • gpt2-small (GPT-2), которую я использовал в оригинальных экспериментах 2020 года
  • gpt-3.5-turbo (GPT-3.5), выпущенная в марте 2023 года
  • gpt-4–1106-preview, выпущенная в ноябре 2023 года