Водная рва на пути к корпоративному ИИ – это RAG + Fine Tuning. Вот почему

Водоразделы на пути к корпоративному искусственному интеллекту - RAG + Тонкая настройка. Вот почему

Чтобы добиться успеха с генеративным искусственным интеллектом масштабом, мы должны уделять LLMs должное внимание. Появляется RAG и настройка.

Шум вокруг LLMs беспрецедентен, но заслужен. От ИИ-сгенерированных изображений Папы Римского в наряде Balenciaga до агентов технической поддержки без пульса, генеративный ИИ имеет потенциал изменить общество так, как мы его знаем.

И во многих отношениях LLMs сделают инженеров данных более ценными, и это волнующе!

Однако одно дело – показать своему начальнику крутую демонстрацию инструмента поиска данных или генератора текста в SQL, а другое дело – использовать его с закрытыми данными вашей компании или, что еще более важно, с данными клиентов.

Слишком часто компании спешат создавать приложения ИИ, не задумываясь о финансовых и организационных последствиях своих экспериментов. И не их вина – руководители компаний и советы директоров несут вину за большую часть “поспешность и приступить” вокруг этой (и большинства других) новых технологий. (Вспомнили NFT?).

• Общение с вашим набором данных с использованием байесовского вывода.
• Введение в алгоритмы кластеризации
• Создание своего собственного ChatGPT без программирования – пошаговое руководство

Для ИИ, особенно генеративного ИИ, чтобы достичь успеха, нам нужно отойти назад и вспомнить, каким образом любое программное обеспечение становится готовым для предприятий. Чтобы добиться этого, мы можем взять на вооружение опыт других отраслей, чтобы понять, какой должна быть готовность предприятия, и применить эти принципы к генеративному ИИ.

На мой взгляд, готовый к предприятию генеративный ИИ должен быть:

• Безопасным и конфиденциальным: Ваше ИИ-приложение должно гарантировать безопасность, конфиденциальность и соответствие ваших данных с правильным контролем доступа. Думайте: Secure Operations for AI.
• Масштабируемым: Ваше ИИ-приложение должно быть легко развертываемым, использоваться и обновляться, а также быть экономически эффективным. Вы бы не покупали – или создавали – приложение для данных, если бы его развертка заняла месяцы, его использование было трудным, и обновление было невозможным без введения множества других проблем. Мы не должны относиться к ИИ-приложениям иначе.
• Доверенным. Ваше ИИ-приложение должно быть достаточно надежным и последовательным. Мне трудно представить CTO, который бы был готов положиться на свою карьеру, покупая или создавая продукт, который производит ненадежный код или генерирует выводы, которые являются бессвязными и вводящими в заблуждение.

Имея эти ориентиры в виду, пришло время дать генеративному ИИ то внимание, которое он заслуживает. Но это не так просто…

Почему предприятий сложно достичь ИИ?

Просто говоря, подходящая инфраструктура для масштабирования, обеспечения безопасности и функционирования приложений LLM еще не готова.

В отличие от большинства приложений, ИИ в значительной степени является чёрным ящиком. Мы *знаем*, что в него вкладываем (сырые и часто неструктурированные данные), и мы *знаем*, что получаем, но мы не знаем, как оно там оказалось. И это сложно масштабировать, обеспечивать безопасность и управлять.

Возьмем, к примеру, GPT-4. Если GPT-4 сдул GPT 3.5 в некоторых задачах (например, при прохождении SAT и экзамена AP Calculus AB), некоторые его выводы были полны галлюцинаций или не обладали достаточным контекстом для должного выполнения этих задач. Галлюцинации вызваны разнообразием факторов – от плохих вложений до обрезки знаний – и часто влияют на качество ответов, генерируемых общедоступными или открытыми LLM, обученными на информации собранной из интернета, что составляет большую часть моделей.

Для уменьшения галлюцинаций и, что еще более важно – для ответа на значимые вопросы бизнеса – компаниям необходимо дополнить LLM своими собственными проприетарными данными, включающими необходимый деловой контекст. Например, если клиент обращается к чат-боту авиакомпании с просьбой отменить билет, модели потребуется получить информацию о клиенте, о его предыдущих транзакциях, правилах отмены и возможно о других сведениях. Все эти данные сейчас хранятся в базах данных и хранилищах данных.

Без этого контекста искусственный интеллект может рассуждать только на основе публичной информации, обычно опубликованной в Интернете, на которой он был обучен с самого начала. И здесь возникает дилемма – раскрытие собственных корпоративных данных и их интеграция в рабочий процесс или опыт клиента практически всегда требует надежной безопасности, масштабируемости и надежности.

Две стратегии создания AI для предприятий: RAG и настройка

Когда речь заходит о подготовке AI для предприятий, наиболее важные части находятся в самом конце процесса разработки LLM: усиление генерации с помощью поиска (RAG) и настройка.

Однако стоит обратить внимание на то, что RAG и настройка не являются взаимоисключающими подходами, и их следует использовать в сочетании в зависимости от ваших конкретных потребностей и задач.

Когда использовать RAG

RAG – это метод, улучшающий качество результатов LLM, предоставляя модели доступ к базе данных при попытке ответить на запрос. База данных — это отобранный и доверенный набор потенциально проприетарных данных, который позволяет модели использовать актуальную и надежную информацию для своих ответов и рассуждений. Этот подход наиболее подходит для приложений искусственного интеллекта, требующих дополнительной контекстуальной информации, таких как ответы службы поддержки клиентов (как в нашем примере с отменой полетов) или семантический поиск в корпоративной коммуникационной платформе вашей компании.

Приложения RAG разработаны таким образом, чтобы извлекать актуальную информацию из источников знаний перед генерацией ответа, что делает их подходящими для поиска структурированных и неструктурированных источников данных, таких как векторные базы данных и хранилища функций. Загрузка информации для увеличения точности и надежности LLM при генерации результата также существенным образом помогает уменьшить галлюцинации и снизить затраты на обучение. RAG также обеспечивает командам уровень прозрачности, поскольку вы знаете источник данных, которые используются в модели для создания новых ответов.

Стоит отметить, что производительность архитектуры RAG напрямую зависит от вашей способности создать эффективные конвейеры данных, позволяющие архитектуре доступ к корпоративным данным.

Когда использовать настройку

Настройка представляет собой процесс обучения существующей LLM на более маленьком, задаче-специфичном и помеченном наборе данных, что позволяет регулировать параметры модели и вложения на основе новых данных. Для настройки используются заранее подготовленные наборы данных, которые предоставляют информацию не только для извлечения информации, но и для нюансов и терминологии предметной области, для которой вы хотите сгенерировать результаты.

Исходя из нашего опыта, настройка наиболее подходит для узкоспециализированных ситуаций, таких как ответы на подробные запросы в узком тоне или стиле, например юридические заключения или обращения службы поддержки клиентов. Она также отлично подходит для преодоления информационных предвзятостей и других ограничений, таких как повторение или несогласованность языка. Несколько исследований за последний год показали, что тщательно настроенные модели существенно превосходят готовые решения GPT-3 и другие общедоступные модели. Установлено, что для многих случаев использование небольшой модели, усовершенствованной настройкой, может превзойти модель общего назначения большого размера, что делает настройку экономически целесообразной в определенных ситуациях.

В отличие от RAG, точная настройка обычно требует меньше данных, но за это приходится тратить больше времени и вычислительных ресурсов. Кроме того, точная настройка работает как черный ящик; поскольку модель внутри себя усваивает новый набор данных, становится сложно определить причину новых ответов, и галлюцинации остаются волнующей проблемой.

Точная настройка — как архитектура RAG — требует создания эффективных пайплайнов данных, которые обеспечивают (маркированные!) предприятий наборы данных для процесса точной настройки. Не простая задача.

Почему RAG, вероятно, подходит для вашей команды

Важно помнить, что RAG и точная настройка — это не взаимоисключающие подходы, они имеют различные преимущества и недостатки и могут использоваться вместе. Однако для подавляющего большинства случаев использования RAG, вероятно, имеет больше смысла, когда речь идет о создании корпоративных генеративных приложений ИИ.

Вот почему:

• Безопасность и конфиденциальность RAG более управляемы: Базы данных имеют встроенные роли и механизмы безопасности, в отличие от моделей ИИ, и довольно хорошо понятно, кто видит что благодаря стандартным контролам доступа. Кроме того, вы имеете больше контроля над тем, какие данные используются, путем доступа к защищенному и конфиденциальному набору собственных данных. При точной настройке любые данные, включенные в обучающий набор, доступны всем пользователям приложения, без явных способов управления тем, кто видит что. Во многих практических сценариях — особенно когда речь идет о клиентских данных — отсутствие такого контроля ставит крест на проекте.
• RAG более масштабируем: RAG дешевле, чем точная настройка, потому что последняя включает обновление всех параметров большой модели, требующей значительных вычислительных мощностей. Кроме того, RAG не требует разметки и формирования обучающих наборов данных, что является трудоемким процессом, который может занимать недели и месяцы для каждой модели.
• RAG дает более надежные результаты. Просто говоря, RAG лучше работает с динамическими данными, генерируя детерминированные результаты из тщательно подобранного набора данных, обновляемых по мере необходимости. Поскольку точная настройка в значительной степени действует как черный ящик, сложно определить, как модель сгенерировала конкретные результаты, что снижает доверие и прозрачность. При точной настройке возможны искажения и неточности, поскольку вы полагаетесь на веса модели для кодирования бизнес-информации в потерянном виде.

По нашему скромному мнению, подразумевается, что готовые для предприятия ИИ в основном будут полагаться на RAG, а точная настройка будет использоваться в более тонких или предметно-ориентированных случаях использования. Для подавляющего большинства приложений точная настройка будет приятным дополнением для нишевых сценариев и будет использоваться намного чаще, когда отрасль сможет снизить затраты и ресурсы, необходимые для запуска ИИ в масштабе.

Независимо от того, какой подход вы выберете, ваше приложение искусственного интеллекта потребует пайплайнов, которые передают эти модели данные компании через хранилище данных (будь то Snowflake, Databricks, самостоятельная векторная база данных, такая как Pinecone, или нечто другое). В конечном счете, если генеративный ИИ используется во внутренних процессах для извлечения анализа и понимания из неструктурированных данных, он будет использоваться… *барабанный бой*… пайплайном данных.

Чтобы RAG работал, вам нужна наблюдаемость данных

В начале 2010-х годов Итак, что такое фактический стек LLM?

Инфраструктура и технический маршрут для инструментов искусственного интеллекта разрабатываются прямо сейчас, с каждый днем появляются новые стартапы, решающие различные проблемы, и промышленные гиганты, утверждающие, что они тоже справляются с этими вызовами. Когда дело доходит до интеграции предприятийных данных в искусственный интеллект, я вижу три основные конкурирующие стороны.

Первая сторона: векторные базы данных. Pinecone, Weaviate и другие становятся известными платформами баз данных для поддержки архитектур RAG. Хотя эти технологии обещают многое, они требуют создания новой части стека и создания рабочих процессов для поддержки его с точки зрения безопасности, масштабируемости и надежности.

Вторая сторона: хостинговые версии моделей, созданных сторонними разработчиками LLM, такими как OpenAI или Anthropic. В настоящее время большинство команд получают свой “искусственный интеллект генерации” через API от этих ведущих представителей AI из-за простоты использования. Подключитесь к API OpenAI и используйте передовую модель в течение нескольких минут? Присоединяйтесь к нам. Этот подход отлично работает, если вам нужно, чтобы модель создавала код или решала известные неспецифические задачи на основе публичной информации. Если вам нужно интегрировать собственную информацию в эти модели, вы можете использовать встроенное настройка или RAG возможности, предоставляемые этими платформами.

И, наконец, третья сторона: современный стек данных. Snowflake и Databricks уже объявили, что они также внедряют векторные базы данных в свои платформы, а также другие инструменты, чтобы помочь интегрировать данные, которые уже хранятся и обрабатываются на этих платформах, в LLM. Это имеет смысл для многих и позволяет командам данных, занимающимся инициативами по искусственному интеллекту, использовать инструменты, которые они уже используют. Зачем изобретать колесо, когда у вас есть все необходимые основы? Не говоря уже о возможности легкого сочетания традиционных реляционных данных с векторными данными… Как и другие две стороны, у этого подхода есть некоторые недостатки: Snowflake Cortex, Lakehouse AI и другие продукты MDS + AI находятся на начальном этапе развития и требуют некоторых предварительных инвестиций для внедрения поиска по векторам и обучения моделей в ваши существующие рабочие процессы. Чтобы получить более детальное представление об этом подходе, рекомендую вам ознакомиться с соответствующим материалом Meltano pertinent piece о том, почему лучшим стеком LLM может быть тот, который находится прямо перед вами.

Независимо от выбранной стороны, ценные деловые вопросы не могут быть решены моделью, обученной на данных, которые находятся в Интернете. Она должна иметь контекст изнутри компании. И, предоставляя этот контекст безопасным, масштабируемым и надежным способом, мы можем получить готовый к предприятию искусственный интеллект.

Будущее предприятийного искусственного интеллекта находится в ваших конвейерах

Чтобы искусственный интеллект полностью соответствовал своему потенциалу, команды данных и интеллектуального интеллекта должны относиться к расширению LLM с соответствующим вниманием и делать безопасность, масштабируемость и надежность основными аспектами. Независимо от того, требуется ли вам RAG или настройка модели – или и то, и другое – вам необходимо убедиться, что ваша стековая основа данных в порядке, чтобы сохранить низкие затраты, постоянную производительность и надежность.

Данные должны быть безопасными и конфиденциальными; развертывание LLM должно быть масштабируемым; и ваши результаты должны быть надежными. Постоянное контролирование качества данных через наблюдаемость является критическим для этих требований.

Лучшая часть этой эволюции от разделения X-демонстраций до готового к предприятию искусственного интеллекта? RAG дает инженерам данных лучшее место за столом, когда речь идет о владении и управлении ROI на инвестиции в генеративный искусственный интеллект.

Я готов к готовому к предприятию искусственному интеллекту. А вы?

Лиор Гавиш внес свой вклад в эту статью.

Свяжитесь с Барром на LinkedIn , чтобы получить более глубокие познания о данных, искусственном интеллекте и будущем доверия к данным.