Принятие правильных решений советы искусственного интеллекта, помощь в принятии решений и обещания языковых моделей с ограниченным уровнем мастерства.

Искусственный интеллект и языковые модели советы, помощь и обещания для принятия правильных решений

Исследование нового рассвета процесса принятия решений с использованием LLM

Введение

Демократизация искусственного интеллекта привела к принятию систем искусственного интеллекта в различных областях. Недавняя волна генеративных моделей, таких как предобученные большие языковые модели (LLM), привела к их широкому использованию в различных сферах нашей повседневной жизни — начиная от увеличения производительности с помощью помощи в создании электронных писем, заканчивая помощью в преодолении проклятого “пустого листа” для начинающих и опытных писателей. Из-за растущей зависимости от LLM для помощи в принятии решений, в данной статье представлены синтез человеческого принятия решений и эволюция человеко-искусственного интеллекта принятия решений. Наконец, в статье рассматриваются возможности, которые предлагают LLM для помощи в задачах принятия решений, а также сопутствующие угрозы, связанные с полаганием на LLM для принятия решений.

Принятие решений человеком

В мире, который характеризуется растущим спектром выбора практически в каждом принятом решении в нашей повседневной жизни (например, что купить, что надеть, какую книгу прочитать, какую музыку послушать или фильм посмотреть, от выбора образа жизни до выбора путешествия), качество принятия решений получило обновленный интерес. В своей влиятельной работе, раскрывающей “парадокс выбора”, Барри Шварц изложил эту растущую сложность принятия решений в результате технологических прорывов, случившихся у витающего тысячелетия. Шварц объясняет это на примере врача, предлагающего пациенту ряд лечений, передавая потенциальные риски и взвешивая их по отношению к пользе для каждого из них. В такой ситуации опасность принятия решения с высокими ставками переходит от опытного врача к непрофессиональному пациенту. Среди других факторов, изобилие выбора часто препятствует эффективному человеческому принятию решений.

Различные исследовательские сообщества, включая эволюционную психологию, когнитивные науки и нейронауки, исследовали природу человеческого принятия решений и различные факторы, формирующие процессы принятия решений среди людей. Не секрет, что человеческое принятие решений страдает от когнитивных искажений и дополняется иррациональностью. Самым известным документировал это Nobel-лауреат по поведенческой экономике Даниэль Канеман в своей работе «Мышление, быстрая и медленная».

Принятие решений человека с использованием искусственного интеллекта

Появление технологий привело к росту систем поддержки принятия решений, которые могут помочь людям преодолеть препятствия в своих процессах принятия решений. Системы поддержки принятия решений принимают различные формы в более широких социотехнических контекстах, от алгоритмов, которые обеспечивают взаимодействие с пользователями до сложных моделей машинного обучения, которые помогают пользователям с прогнозами и прогнозированием. Например, рекомендательные системы могут помочь пользователям, предлагая им контент или продукты, наиболее подходящие для их потребностей. Другие алгоритмические системы, способные обрабатывать большие объемы данных, могут предлагать пользователям советы по множеству задач принятия решений.

• SB3, швейцарский армейский нож прикладного машинного обучения
• Мистраль 7В Рецепты для настройки и квантования на вашем компьютере
• Сверточные нейронные сети — интуитивно и исчерпывающе объяснены

Центральная общая цель всех контекстов человеко-искусственного интеллекта принятия решений заключается в потенциале улучшения эффективности принятия решений путем объединения человеческого интеллекта с вычислительной мощностью алгоритмических систем. Однако это далеко от того, как многие совместные процессы человеко-искусственного интеллекта принятия решений разворачиваются в реальном мире. Люди не используют адекватно системы искусственного интеллекта в задачах принятия решений, что приводит к субоптимальной результативности команды. Адекватное доверие было концептуализировано как доверие людей к советам искусственного интеллекта, когда они верны, и самостоятельное доверие, когда искусственный интеллект ошибается. Влияют ряд факторов, включая человеческие факторы (например, областные знания, приверженность взаимодействию с технологией, предыдущий опыт); факторы системы (например, точность или уверенность системы искусственного интеллекта); факторы задачи (например, сложность задачи, неопределенность задачи, ставки).

Эмпирические исследования человеко-искусственного интеллекта принятия решений в различных контекстах, включая решения о кредитной заявке и медицинскую диагностику, показали, что люди либо недостаточно полагаются на советы искусственного интеллекта и упускают возможность улучшить результаты своих решений, либо излишне полагаются на советы искусственного интеллекта и достигают субоптимальных результатов. Для решения проблемы избыточной и недостаточной полагания на советы искусственного интеллекта предлагались использование объяснений, когнитивных функций принуждения (то есть вмешательств, которые заставляют критически рассмотреть решение и процесс рефлексии во время принятия решения), обучающих материалов или тренировочных сессий, которые передают преимущества и недостатки систем искусственного интеллекта, и инициативы по увеличению общей грамотности населения в области искусственного интеллекта. Недавние исследования предложили альтернативную методологию, называемую “оценочный искусственный интеллект”, чтобы способствовать адекватному полаганию на советы искусственного интеллекта. Эта методология предлагает, чтобы инструменты поддержки принятия решений предоставляли доказательства за и против решений, принимаемых людьми, а не предлагали рекомендации на принятие или отклонение.

Познавательные искажения также повлияли на принятие решений человеком и искусственным интеллектом [1, 3]. Растоги и соавт. [9] утверждают, что наше общее восприятие и понимание задач принятия решений могут быть искажены когнитивными искажениями, такими как биasedий подтверждения, биас якорения и биас доступности. Они исследовали роль биаса якорения и предложили методы смягчения их негативного воздействия на совместную производительность принятия решений. Хе и соавт. [22] показали, что эффект Даннинга-Крюгера, метакогнитивное искажение, может влиять на то, как люди полагаются на советы от систем искусственного интеллекта. Они выявили, что пользователи, переоценивающие свои способности или производительность, имеют тенденцию к недостаточной полагающейся на системы искусственного интеллекта, что затрудняет оптимальную производительность команды при принятии решений. Другие факторы, такие как алгоритмическая неохота и оценка, также оказывают влияние на результативность принятия решений человеком и искусственным интеллектом [17].

Несмотря на продолжающуюся работу в широком поле сотрудничества человека и искусственного интеллекта, поощрение соответствующей полагающейся на системы искусственного интеллекта в задачах принятия решений остается нерешенной проблемой. Различные научные сообщества на стыке искусственного интеллекта, машинного обучения и человеко-компьютерного взаимодействия активно работают над развитием нашего понимания в этой области и разработкой методов, инструментов и фреймворков, которые могут помочь нам использовать потенциал сотрудничества человека и искусственного интеллекта.

В настоящий момент большие языковые модели (БЯМ) нашли широкое применение и распространение в различных областях. В остальной части этой статьи мы рассмотрим возможности, которые БЯМ предоставляют для помощи человеку в принятии решений и их взаимосвязь с потенциальными преимуществами.

БЯМ для задач принятия решений

БЯМ все больше используются в различных социотехнических системах, несмотря на проявление искажений и потенциальную возможность причинить вред. Сказанное, они также показали потенциал положительного влияния на масштаб — например, через поддержку процессов аудита, как показали Ростаги и соавт. [8] с помощью аудиторского инструмента, основанного на генеративной БЯМ. Авторы предложили использовать дополняющие силы людей и генеративных моделей при совместном аудите коммерческих языковых моделей. Ву и соавт. [14] предложили AutoGen, фреймворк, позволяющий использовать сложные рабочие процессы на основе БЯМ с использованием многоканальных бесед. AutoGen может поддерживать онлайн-задачи принятия решений, такие как игры или взаимодействие с веб-сайтами.

С одной стороны есть данные о том, что БЯМ, такие как GPT-3, демонстрируют поведение, которое поразительно напоминает интуицию, характерную для человека — и когнитивные ошибки, сопутствующие ей [16]. Недавние исследования выявили возможность использования ChatGPT для радиологического принятия решений, что потенциально может улучшить клинические рабочие процессы и ответственное использование радиологических услуг [18]. Для повышения безопасности искусственного интеллекта в процессах принятия решений Цзин и соавт. [15] стремятся воспроизвести и предоставить БЯМ возможность определить, когда правило должно быть нарушено, особенно в новых или необычных ситуациях. С другой стороны, БЯМ могут непреднамеренно поддерживать стереотипы по отношению к маргинализированным группам [20] и проявлять предубеждения, связанные с расой, полом, религией и политической ориентацией. Аналогично вызовам, связанным с поощрением соответствующего доверия и полагания человека в системах поддержки принятия решений, если люди полагаются на БЯМ для принятия решений, нам необходимо лучше понять преимущества и недостатки такого взаимодействия. Особенно усиленным риском во взаимодействии с БЯМ является видимая лёгкость облегчения разговорных взаимодействий. Предыдущая работа уже выявила иллюзорную роль глубины объяснений в принятии решений, что приводит к чрезмерной полагающести на системы искусственного интеллекта. Если человеческое взаимодействие с системами поддержки принятия решений станет еще более естественным (например, через интерактивные или разговорные интерфейсы), можно ожидать обнаружения еще большего количества случаев неподходящей полагающести.

Становится все сложнее изучать БЯМ с точки зрения их архитектуры и гиперпараметров. Существует достаточное количество доказательств, чтобы понять, что генеративный искусственный интеллект может создавать качественный письменный и визуальный контент, который может быть использован для блага общества или злоупотреблен для причинения вреда. Манн и соавт. [19] утверждают, что возникает асимметрия по присваиванию кредитов-виновности при отнесении ответственности за выводы БЯМ и фокусируются на этических и политических последствиях, связанных с БЯМ.

Что нужно сделать дальше?

Очевидно, что требуется дальнейшее исследование и эмпирическая работа для обеспечения безопасного и надежного использования БЯМ в задачах принятия решений. Это особенно очевидно, учитывая текущие ограничения в отношении мультимодальных и многоязыковых БЯМ. Вот несколько вопросов, ответы на которые являются критическими для определения величины, с которой мы можем согласованно получать преимущества от включения БЯМ в ежедневное принятие решений:

• Как мы можем облегчить соответствующую полагающество на БЯМ или системы, включающие БЯМ, для эффективного принятия решений?
• Как мы можем повысить устойчивость, надежность и доверительность систем поддержки принятия решений, основанных на БЯМ?
• Как мы можем поощрять соответствующее доверие и полагание в БЯМ в мультимодальных и многоязыковых контекстах принятия решений?
• Как людей с разными способностями, индивидуальными особенностями, предыдущими знаниями, образованием и квалификацией, а также другими демографическими данными можно равноправно поддерживать БЯМ в задачах принятия решений?

Итак, если у вас есть LLM на вашем компьютере, не спешите полагаться на него как на коробку с чёрным ящиком для принятия решений!

Др. Ir. Уджвал Гадирайу является старшим преподавателем в Делфтском техническом университете. Он совместно руководит лабораторией «Дизайн в масштабе» и является руководителем направления исследований по AI и совместной работе с людьми. Он является заслуженным спикером ACM и членом правления CHI Нидерланды. Уджвал проводит часть своего времени в Toloka AI, работая с их AI батальоном и исследовательской командой, и также является членом консультативного совета Deeploy – компании по MLOps, которая развивается.

Ссылки

1. Bertrand, A., Belloum, R., Eagan, J. R., & Maxwell, W. (2022, июль). Как когнитивные предрассудки влияют на принятие решений с помощью XAI: систематический обзор. В Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (с. 78–91).
2. Bossaerts, P., & Murawski, C. (2017). Вычислительная сложность и принятие решений человеком. Тенденции в когнитивных науках, 21(12), 917–929.
3. Boonprakong, N., He, G., Gadiraju, U., van Berkel, N., Wang, D., Chen, S., Liu, J., Tag, B., Goncalves, J. и Dingler, T., 2023. Мастерская по пониманию и устранению познавательных предубеждений в сотрудничестве человека и ИИ.
4. Buçinca, Z., Malaya, M.B., & Gajos, K. Z. (2021). Доверять или думать: функции психического принуждения могут уменьшить зависимость от ИИ в принятии решений с использованием ИИ. Proceedings of the ACM on Human-Computer Interaction, 5(CSCW1), 1–21.
5. Haupt, C. E., & Marks, M. (2023). Медицинские советы, созданные ИИ – GPT и дальше. Jama, 329(16), 1349–1350.
6. Kahneman, D. (2011). Мышление, быстрое и медленное. Macmillan.
7. Miller, T. (2023, июнь). Explainable AI мёртв, да здравствует Explainable AI! Принятие решений на основе гипотез с использованием оценочного ИИ. В Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency (с. 333–342).
8. Rastogi, C., Tulio Ribeiro, M., King, N., Nori, H., & Amershi, S. (2023, август). Поддержка сотрудничества между человеком и ИИ при аудите с использованием LLM. В Proceedings of the 2023 AAAI/ACM Conference on AI, Ethics, and Society (с. 913–926).
9. Rastogi, C., Zhang, Y., Wei, D., Varshney, K. R., Dhurandhar, A., & Tomsett, R. (2022). Решение быстро и медленно: роль когнитивных предрассудков в принятии решений с помощью ИИ. Proceedings of the ACM on Human-Computer Interaction, 6(CSCW1), 1–22.
10. Santos, L. R., & Rosati, A. G. (2015). Эволюционные основы принятия решений человека. Ежегодный обзор психологии, 66, 321–347.
11. Schemmer, M., Hemmer, P., Kühl, N., Benz, C., & Satzger, G. (2022). Следовать ли рекомендациям ИИ? Измерение адекватности зависимости человека от ИИ при принятии решений. arXiv предварительная печать arXiv:2204.06916.
12. Schwartz, B. (2004). Парадокс выбора: почему больше – значит меньше. Нью-Йорк.
13. Vasconcelos, H., Jörke, M., Grunde-McLaughlin, M., Gerstenberg, T., Bernstein, M. S., & Krishna, R. (2023). Объяснения могут снизить излишнюю зависимость от ИИ систем во время принятия решений. Proceedings of the ACM on Human-Computer Interaction, 7(CSCW1), 1–38.
14. Wu, Qingyun, Gagan Bansal, Jieyu Zhang, Yiran Wu, Shaokun Zhang, Erkang Zhu, Beibin Li, Li Jiang, Xiaoyun Zhang и Chi Wang. AutoGen: включение приложений следующего поколения LLM с помощью мультиагентных разговорной платформы. arXiv предварительная печать arXiv:2308.08155 (2023).
15. Jin, Z., Levine, S., Gonzalez Adauto, F., Kamal, O., Sap, M., Sachan, M., Mihalcea, R., Tenenbaum, J., и Schölkopf, B., 2022. Когда делать исключения: исследование языковых моделей в качестве оценки человеческого морального суждения. Advances in neural information processing systems, 35, pp.28458–28473.
16. Hagendorff, T., Fabi, S., & Kosinski, M. (2022). Машинное интуиционирование: раскрытие решений, основанных на интуиции, подобному человеческим, в GPT-3.5. arXiv предварительная печать arXiv:2212.05206.
17. Erlei, A., Das, R., Meub, L., Anand, A., & Gadiraju, U. (2022, апрель). За то, что оно стоит: люди переписывают свои экономические интересы, чтобы избежать сделок с ИИ системами. В Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (с. 1–18).
18. Rao, A., Kim, J., Kamineni, M., Pang, M., Lie, W., & Succi, M. D. (2023). Оценка ChatGPT в качестве дополнительного инструмента для радиологического принятия решений. medRxiv, 2023–02.
19. Porsdam Mann, S., Earp, B. D., Nyholm, S., Danaher, J., Møller, N., Bowman-Smart, H., … & Savulescu, J. (2023). Генеративный ИИ олицетворяет асимметрию заслуга-вины. Nature Machine Intelligence, 1–4.
20. Dhingra, H., Jayashanker, P., Moghe, S., & Strubell, E. (2023). ЛГБТ-люди – это прежде всего люди: деконструкция стереотипов о половой идентичности в больших языковых моделях. arXiv предварительная печать arXiv:2307.00101.
21. He, G., Kuiper, L., & Gadiraju, U. (2023, апрель). Зная о знаниях: иллюзия человеческой компетенции может препятствовать адекватной зависимости от ИИ систем. В Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (с. 1–18).