Развитие компаний с использованием ChatGPT примерно на треть зависит от технологии и на две трети от улучшения процессов.

Как развитие компаний с использованием ChatGPT зависит на треть от технологии и на две трети от улучшения процессов.

Практический обзор процессов, ролей и сложностей, связанных с разработкой виртуального помощника на основе GPT-моделей

На протяжении 2023 года мы разрабатывали виртуального помощника, основанного на модели GPT, для сотрудников Enefit (одной из крупнейших энергетических компаний Прибалтики). В первой статье (читайте здесь) я дал обзор проблемы, процесса разработки и начальных результатов. В этой статье я расскажу о значимости несвязанных с технологией вызовов при разработке виртуального помощника.

Введение

В начале 2023 года стало ясно, что произошел прорыв в технологии больших языковых моделей. В отличие от чат-ботов последнего десятилетия, которые часто разочаровывали пользователей уже после второго или третьего вопроса, ChatGPT стал точным, универсальным и действительно полезным. Решение компаний OpenAI и Microsoft предоставить программный доступ к своим моделям GPT через открытый API сервис создало возможность для реализации специфических применений в компаниях.

Мы приступили к проекту виртуального помощника для Enefit, зная, что базовая технология готова, внутренний интерес высок, и разработка программного обеспечения, хоть и новаторская и сложная, возможна с хорошими специалистами.

На ранних этапах разработки эта концепция оправдалась: около 80% активностей в проекте составляли задачи по разработке программного обеспечения, и 20% – занятия, не связанные с технологиями. По мере продвижения проекта эти пропорции резко изменились, что потребовало появления новых процессов и ролей.

• Настройка гиперпараметров Нейронные сети 101
• Параллельное выполнение Python на Spark Варианты конкурентности с Pandas
• Расшифровка рынка рабочих мест в сфере обработки данных на 2023 год указывают ли цифры на насыщение рынка или на возможности?

Управление данными/информацией 2.0

Виртуальный помощник может предоставлять компании специфичную информацию не более точно, чем позволяют исходные документы. Другими словами, если исходные документы содержат неправильную, плохо структурированную или устаревшую информацию, виртуальный помощник не сможет дать гораздо лучшие ответы. Это обычно называется принципом GIGO (garbage in, garbage out), который устанавливает фундаментальные ограничения возможностей искусственного интеллекта.

Таким образом, значительная часть создания виртуального помощника заключается в обеспечении качества данных/информации. Это включает в себя:

• Назначение владельца для каждого документа/группы информации, который будет отвечать за точность информации.
• Согласование механизма обратной связи, который позволяет пользователям виртуального помощника сообщать о неправильных ответах или недостоверной информации.
• Установление процесса управления обратной связью, чтобы гарантировать, что обратная связь пользователей доходит до владельца информации и принимается во внимание.

По сути, это означает, что все стороны вовлечены в управление данными: пользователи, которые предоставляют непрерывную обратную связь, и владельцы данных, ответственные за реагирование на эту обратную связь.

Владельцы документов также могут способствовать улучшению работы виртуального помощника в поиске информации в их области, обогащая разделы документов ключевыми словами, тестированием точности виртуального помощника, перестроением контента при необходимости, тестированием, улучшением, тестированием, улучшением… В сущности, владельцам информации следует рассматривать виртуального помощника как коллегу, с которым им необходимо сотрудничать!

В заключение этого раздела я хочу упомянуть о новой технологии Microsoft – Copilot. В данный момент все глаза обращены на запуск Copilot. Большинство технологических энтузиастов уже посмотрели демонстрационные видео и ожидают, что это будет готовое к использованию решение, полупредназначенное для предоставления хороших ответов на вопросы, связанные с компанией. Однако, это ожидание, скорее всего, приведет к разочарованию, так как даже Copilot не застрахован от принципа GIGO.

Если взглянуть за пределы рекламных видео Copilot, мы найдем обширную документацию по требованиям к управлению документами. Вкратце, Microsoft ожидает, что (прочитайте больше):

• Все устаревшие документы будут удалены.
• Все документы должны содержать точную и relevante информацию.
• Компании должны установить новый процесс управления данными для обеспечения соблюдения вышеуказанного.
• Документы должны быть обогащены ключевыми словами для улучшения поиска.

Это высокие требования, особенно, когда речь идет о документах, хранящихся на компьютерах сотрудников.

Чтобы быть ясным, я считаю Copilot фантастической новой технологией. Однако, важно подчеркнуть, что ни одна технология виртуального помощника не может быть успешно реализована без процесса управления данными.

Управление виртуальным помощником

Большие предварительно обученные языковые модели (например, GPT, Llama) – это роботизированные логические машины. Это означает, что если мы хотим, чтобы они выполнили определенную роль (например, исполнительный ассистент, контрактный ассистент, юридический эксперт), нам нужно направлять их и предоставлять примеры стиля.

Управление виртуальным ассистентом означает предоставление модели языка как вопроса пользователя, так и руководства по ответу. Например, “Вы являетесь виртуальным ассистентом Enefit, который знает о политике и правилах компании. Если вы не можете найти ответ в доступной информации, скажите, что не знаете …”

С таким руководством мы можем указать виртуальному ассистенту, как себя вести, диктовать формат, который он должен использовать для ответа, и подчеркнуть, чего он должен избегать.

Однако общее руководство часто недостаточно. Например, компания может хотеть, чтобы виртуальный ассистент следовал определенному стилю (официальному, дружелюбному и т. д.). В таких случаях можно предоставить примеры стиля, которые по сути являются парными вопрос-ответ. Поскольку языковые модели обучены продолжать существующий текст, виртуальный ассистент пытается отвечать на вопросы пользователя так же, как в представленных примерах стиля.

Создание руководств по ответу и примеров стиля, тестирование разных версий и их усовершенствование составляет третью значительную часть разработки виртуального ассистента.

Роль “Бот-тренер/гид виртуального ассистента” является совершенно новой и может быть эффективно выполняется только специалистом, знакомым с предметной областью, для которой создается виртуальный ассистент. Эффективное развитие виртуального ассистента требует тесного сотрудничества между разработчиками программного обеспечения, владельцами информации и тренером виртуального ассистента, поскольку причина каждого “плохого” ответа может лежать у разных специалистов.

Заключение

Создание чат-бота, который работает с 80% эффективностью, несложно сегодняшними технологиями, но создание виртуального ассистента с качеством 95% является сложной задачей.

На первый взгляд, кажется, что 80% достаточно, поэтому зачем заморачиваться ради последних 20 процентных пунктов? На самом деле, опираясь на опыт последнего десятилетия с чат-ботами, мы знаем, что чат-бот, который точен в 80% случаев, не преодолевает “порог когнитивной полезности” для пользователей.

Этот порог когнитивной полезности – скрытая точка опоры, существующая во всем нашем сознании, но мы не можем точно определить, где находится эта граница. Однако, используя технологию, мы быстро понимаем, преодолена ли эта граница или нет. Если качество технологии падает ниже этого порога, мы полностью отказываемся от использования данной технологии.

Иными словами, разница между 80% и 95% заключается в том, что в первом случае никто не будет начинать использовать эту технологию, а во втором случае она становится повседневным помощником для многих сотрудников.

Разница между точностью 80% и 95% заключается в том, что в первом случае никто не будет начинать использовать эту технологию, а во втором случае она становится повседневным помощником для многих сотрудников!

Чтобы достичь последние 15-20%, необходимо внедрить систему управления данными, которая гарантирует актуальность информации, создать новые роли и процессы, связанные с разработкой виртуального ассистента, обучить всех сторон новой технологии и поддержать ее внедрение и принятие как на стратегическом, так и на операционном уровне. Таким образом, технология составляет только 1/3 разработки виртуального ассистента, а остальное приходится на организационные и связанные с процессами вызовы.