Восстановление знаний на первом месте

Восстановление первенства знаний

Кредит на изображение: Adobe Stock.

Архитектура GenAI меняется в сторону интерпретации моделей, ориентированных на извлечение информации

Для перехода от потребительского использования к бизнес-развертыванию GenAI решения должны быть построены преимущественно на основе информации, внешней модели, используя генерацию, ориентированную на извлечение (RCG).

По мере развертывания генеративного ИИ (GenAI) в различных отраслях для широкого спектра бизнес-целей компании нуждаются в моделях, обеспечивающих эффективность, точность, безопасность и отслеживаемость. Оригинальная архитектура моделей типа ChatGPT демонстрирует существенный разрыв в достижении этих ключевых требований. С ранними моделями GenAI использовалось извлечение информации как дополнительный инструмент для устранения недостатков моделей, полагающихся на запомненную информацию из параметрической памяти. Текущие модели сделали значительный прогресс в этом вопросе, дополнив платформы решения передним планом с помощью расширенной генерации с извлечением (RAG), позволяющей извлекать информацию внешнюю модели. Возможно, пришло время еще раз пересмотреть архитектуру генеративного ИИ и перейти от систем RAG, где извлечение является дополнением, к моделям, ориентированным на извлечение информации (RCG), построенным вокруг извлечения в качестве основного способа доступа к информации.

Модели, ориентированные на извлечение информации, могут быть определены как генеративное ИИ-решение, разработанное для систем, где подавляющее большинство данных находится вне памяти модели и в основном не видно при предварительном обучении или тонкой настройке. В RCG основная роль модели GenAI заключается в интерпретации обширной извлеченной информации из упорядоченного набора данных компании или другого отобранного контента. Вместо запоминания данных модель сосредоточена на тонкой настройке для целевых конструкций, отношений и функциональности. Ожидается, что качество данных в сгенерированном выводе приблизится к 100% точности и своевременности. Способность должным образом интерпретировать и использовать большие объемы данных, не видимых при предварительном обучении, требует повышенной абстракции модели и использования схем как ключевой когнитивной способности для идентификации сложных паттернов и отношений в информации. Эти новые требования извлечения в сочетании с автоматизированным изучением схемы приведут к дальнейшему развитию предварительного обучения и тонкой настройки моделей больших языковых моделей (LLM).

Рисунок 1. Преимущества и вызовы извлечения информации в моделях, ориентированных на извлечение информации (RCG) по сравнению с моделями, ориентированными на извлечение информации (RAG). Кредит на изображение: Intel Labs.

Значительное уменьшение использования запомненных данных из параметрической памяти в моделях GenAI и переход к проверяемым индексированным источникам улучшит происхождение и сыграет важную роль в повышении точности и производительности. Предполагается, что в существующей архитектуре GenAI больше данных в модели означает лучше. Отправляясь от этой направляющей структуры, ожидается, что большая часть символов и концепций была усвоена и образована перекрестная сопоставленность, чтобы модели могли генерировать более точные ответы из своей памяти. Однако в обычном бизнес-сценарии ожидается, что подавляющая часть данных, используемых для сгенерированного вывода, будет получена из полученных входных данных. Мы сейчас наблюдаем, что наличие большего количества данных в модели при полагании на полученные знания вызывает конфликты информации или включение данных, источник которых нельзя проследить или проверить. Как я описал в своем последнем блоге, Выживание наиболее приспособленных, меньшие, подвижные целевые модели, разработанные для использования RCG, не обязаны хранить так много данных в памяти.

В бизнес-среде, где данные в основном получаются из извлечения, система должна превосходить в интерпретации невидимой актуальной информации для удовлетворения требований компании. Кроме того, преобладание больших векторных баз данных и увеличение размера окна контекста (например, OpenAI недавно увеличила размер окна контекста в GPT-4 Turbo с 32K до 128K) приводит модели к рассуждению и интерпретации невидимых сложных данных. Теперь моделям требуется интеллект, чтобы превратить общие данные в эффективные знания, используя сочетание сложного извлечения и тонкой настройки. По мере того, как модели становятся ориентированными на извлечение, когнитивные способности для создания и использования схем станут важнейшими.

Потребительский спрос против бизнес-использования GenAI

После десятилетия быстрого роста размера и сложности моделей искусственного интеллекта (ИИ), 2023 год ознаменовывает переход к эффективности и целевому применению генеративного ИИ. Переход от потребительского фокуса к бизнес-использованию является одним из основных факторов, определяющих эту изменение на трех уровнях: качество данных, источник данных и целевые применения.

Качество данных: При генерации контента и анализа для компаний, точность в 95% недостаточна. Бизнесу нужна почти полная точность. Для обеспечения качества вывода требуется настройка моделей на высокую производительность в выполнении конкретных задач и управление качеством используемых данных. Кроме того, данные должны быть прослеживаемыми и верифицируемыми. Происхождение данных имеет значение, и извлечение является ключевым для определения источника контента.

Источник данных: Подавляющая часть данных в бизнес-приложениях ожидается, что будет сформирована из доверенных внешних источников, а также собственных бизнес- и предприятийских данных, включая информацию о продуктах, ресурсах, клиентах, поставочной цепи, внутренних операциях и других. Извлечение имеет ключевое значение для доступа к последнему и наиболее широкому набору собственных данных, не предварительно обучаемых моделью. Модели, как большие, так и маленькие, могут иметь проблемы с происхождением, когда используют данные из своей собственной внутренней памяти по сравнению с верифицируемыми, прослеживаемыми данными, извлеченными из источников в бизнесе. Если данные конфликтуют, это может сбить модель с толку.

Целевое использование: Конструкции и функции моделей для компаний обычно специализируются на определенном наборе использований и типов данных. Когда функционал GenAI развертывается в конкретном рабочем процессе или бизнес-приложении, чаще всего не требуется функциональность все-в-одном. И поскольку данные будут поступать преимущественно из извлечения, целевая система должна отличаться в умении интерпретировать соответствующую информацию, невидимую моделью, так, как это требуется компанией.

Например, если финансовая или медицинская компания стремится улучшить свои услуги с помощью модели GenAI, она сосредоточится на семействе функций, необходимых для их предполагаемого использования. Они могут выбрать предварительное обучение модели с нуля и попытаться включить всю свою собственную информацию. Однако такие усилия могут оказаться дорогостоящими, требующими глубокой экспертизы и склонными устаревать быстро с развитием технологии и непрерывно изменяющимися данными компании. Кроме того, в любом случае потребуется полагаться на извлечение для доступа к последней конкретной информации. Более эффективный путь – взять существующую предварительно обученную базовую модель (например, Meta’s Llama 2) и настроить ее с помощью мелкой настройки и индексации для извлечения информации. При этом мелкая настройка использует только небольшую часть информации и задач для уточнения поведения модели, но сама обширная бизнес-специфичная информация может быть проиндексирована и доступна для извлечения по мере необходимости. Как только базовая модель обновляется с использованием последних технологий GenAI, обновление целевой модели должно быть относительно простым процессом повторения процедуры мелкой настройки.

Переход к поисково-ориентированному поколению: организация вокруг извлечения проиндексированной информации

Meta AI и университетские партнеры представили улучшенное поколение с помощью извлечения в 2021 году для решения проблем происхождения и обновления общемировых знаний в LLMs. Исследователи использовали подход RAG как универсальный способ добавления непараметрической памяти к предварительно обученным моделям генерации с параметрической памятью. Непараметрическая память использует индекс плотных векторов Википедии, доступный через предварительно обученное извлекающее устройство. В компактной модели с меньшим объемом запомненных данных большое внимание уделяется широте и качеству индексированных данных, на которые ссылается векторная база данных, поскольку модель не может полагаться на запомненную информацию для бизнес-нужд. Как RAG, так и RCG могут использовать один и тот же подход извлекателя путем извлечения соответствующих знаний из подготовленных корпусов данных “на лету” во время вывода (см. рисунок 2). Они отличаются способом размещения информации системой GenAI а также ожиданиями интерпретации ранее невидимых данных. В случае RAG модель сама является основным источником информации и поддерживается извлеченными данными. В отличие от этого, в случае RCG подавляющая часть данных находится вне параметрической памяти модели, что делает интерпретацию невидимых данных основной задачей модели.

Следует отметить, что многие текущие решения RAG полагаются на потоки, такие как LangChain или Haystack, для конкатенации восстановления интерфейса с независимым векторным хранилищем с GenAI моделью, которая не была предварительно обучена с помощью извлечения. Эти решения обеспечивают среду для индексации источников данных, выбора модели и тренировки модели поведения. Другие подходы, такие как REALM от Google Research, экспериментируют с полной предварительной обработкой с интегрированным извлечением. В настоящее время OpenAI оптимизирует свой путь извлечения GenAI, вместо вынесения его на сторону экосистемы для создания потока для ChatGPT. Компания недавно выпустила Assistants API, который извлекает собственные доменные данные, информацию о продуктах или внешние пользовательские документы, недоступные для модели.

Рисунок 2. SRA и SGA извлекают как публичные, так и частные данные в процессе вывода, но они отличаются в том, как они располагают и интерпретируют невидимые данные. Источник изображения: Intel Labs.

В других примерах модели быстрого получения информации, такие как fastRAG от Intel Labs, используют предварительно обученные небольшие модели-основы для извлечения запрошенной информации из базы знаний без дополнительного обучения, что обеспечивает более устойчивое решение. Построенный как расширение фреймворка Haystack GenAI с открытым исходным кодом, fastRAG использует модель-получатель для генерации разговорных ответов путем извлечения текущих документов из внешней базы знаний. Кроме того, команда исследователей из Meta недавно опубликовала статью, в которой представлена Dual Retrieval-Augmented Instruction Tuning (RA-DIT) – «легкая методология точной настройки, предоставляющая третий вариант модификации любой крупной языковой модели с возможностями извлечения информации».

Переход от моделей SGA к моделям SRA представляет собой вызов для роли информации в обучении. Вместо того чтобы быть и хранилищем информации, и интерпретатором информации в ответ на информационный запрос, с SRA функциональность модели переключается на преимущественно соответствие полученной информации (обычно результат предварительной обработки бизнеса). Это может потребовать измененного подхода к предварительному обучению и настройке моделей, поскольку текущие цели, используемые для обучения языковых моделей, могут быть не подходящими для этого типа обучения. Для модели SRA требуются другие способности, такие как большее контекста, интерпретация данных, фильтрация данных и другие новые задачи.

Довольно мало примеров систем SRA существует в академической или индустриальной сфере. В одном случае исследователи из Kioxia Corporation создали собственное SimplyRetrieve, которое использует архитектуру SRA для повышения производительности LLM-моделей путем разделения интерпретации контекста и запоминания знаний. Реализованная на модели Wizard-Vicuna-13B, исследователи обнаружили, что SRA точно ответила на запрос о местоположении фабрики организации. В отличие от этого, SGA попыталась интегрировать полученную базу знаний с знаниями об организации модели Wizard-Vicuna. В результате возникли частично ошибочные сведения или галлюцинации. Это только один пример – модели SGA и генерация с отключенным извлечением (ROG) могут предлагать правильные ответы в других ситуациях.

Рисунок 3. Сравнение моделей генерации с извлечением в центре внимания (SRA), модели с извлечением (SGA) и модели с отключенным извлечением (ROG). Правильные ответы обозначены синим, а галлюцинации - красным. Источник изображения: Kioxia Corporation.

В некотором смысле, переход от SGA к SRA можно сравнить с разницей в программировании при использовании констант (SGA) и переменных (SRA). Когда ИИ-модель отвечает на вопрос о кабриолете Ford Mustang, большая модель будет знакома с многими связанными с автомобилем деталями, такими как год выпуска и технические характеристики двигателя. Большая модель также может добавить некоторые недавно извлеченные обновления, но она будет отвечать в основном на основе конкретных известных внутренних терминов или констант. Однако, когда модель развертывается в компании электромобилей, готовящейся к выпуску своего следующего автомобиля, модели необходимо применять сложное рассуждение и интерпретацию, поскольку большая часть данных будет неизвестной. Модели нужно понимать, как использовать тип данных, такие как значения для переменных, чтобы проанализировать информацию.

Схема: Обобщение и Абстракция как компетентность во время вывода

Большая часть информации, получаемой в деловых средах (организация бизнеса и люди, продукты и услуги, внутренние процессы и активы), не была просмотрена соответствующей моделью GenAI во время предварительного обучения и, вероятнее всего, будет просто выборочно использована во время настройки модели. Это означает, что трансформерная архитектура не включает “известные” слова или термины (т. е. ранее воспринятые моделью) в свой сгенерированный вывод. Вместо этого архитектура должна использовать незнакомые термины для правильного контекстного их толкования. Это в некоторой степени аналогично тому, как контекстное обучение уже позволяет моделям языка общаться на новые рассуждения без дополнительного обучения.

С этим изменением становится необходимым обеспечить дальнейшее улучшение обобщения и абстракции. Одной из ключевых компетенций, которую следует развивать, является способность использовать изученные схемы при интерпретации и использовании незнакомых терминов или символов, встречающихся во время вывода через подсказки. Схема в когнитивной науке “описывает модель мышления или поведения, организующую категории информации и их взаимосвязи”. Ментальная схема “может быть описана как ментальная структура, система представления некоторого аспекта мира”. Аналогичным образом, в моделях GenAI схема является необходимым механизмом абстракции для правильной интерпретации незнакомых символов, терминов и данных. Нынешние модели уже достаточно хорошо овладели созданием и интерпретацией новых схем, иначе они не смогли бы выполнять генеративные задачи на сложных незнакомых данных контекста так хорошо, как они это делают. Когда модель получает ранее невидимую информацию, ей необходимо определить наилучшую соответствующую схему для этих данных. Это позволяет модели интерпретировать незнакомые данные с использованием знаний, связанных с этой схемой, а не только явной информации, включенной в контекст. Важно отметить, что в этом обсуждении я говорю о моделях нейронных сетей, которые изучают и абстрагируют схему как эмерджентную возможность, а не о классе решений, основанных на явно представленной схеме в графе знаний и наличии ссылок на время вывода.

Если рассматривать это через призму трех типов возможностей моделей (когнитивные компетенции, функциональные навыки и доступ к информации), то абстракция и использование схем четко относятся к категории когнитивных компетенций. В частности, небольшие модели должны быть в состоянии выполнять сравнимые действия с гораздо более крупными (при наличии соответствующих данных), если они развивают навык создания и использования схемы для интерпретации данных. Ожидается, что предварительное обучение, связанное со схемами, усилит когнитивные компетенции моделей. Это включает возможность моделей создавать различные схемы, определять подходящие схемы на основании генеративного процесса и вставлять/использовать информацию с помощью конструкции схемы для достижения наилучшего результата.

Например, исследователи показали, как нынешние модели языка могут изучать базовые схемы, используя фреймворк Гипотезы-Теории (HtT). Исследователи обнаружили, что LLM может генерировать правила, которые затем используются для решения задач числового и отношенческого рассуждения. Правила, открытые GPT-4, можно рассматривать как детальную схему для понимания семейных отношений (см. Рисунок 4). Будущие схемы семейных отношений могут быть еще более краткими и мощными.

Рисунок 4. Используя набор данных CLUTRR для относительного рассуждения, фреймворк Гипотезы-Теории побуждает GPT-4 генерировать правила, похожие на схемы, которым следует LLM при ответе на тестовые вопросы. Кредит изображения: Чжу и др.

Применение этого к простому деловому случаю позволит модели GenAI использовать схему для понимания структуры поставочной цепочки компании. Например, знание того, что “B является поставщиком A” и “C является поставщиком B”, позволяет сделать вывод, что “C является поставщиком второго уровня для A”, что важно при анализе документов на потенциальные риски в поставочной цепочке.

В более сложном случае, например, когда учат модель GenAI разным вариациям и оттенкам документирования посещения пациента медицинским работником, эмержентная схема, установленная во время предварительного обучения или тонкой настройки, служит структурой для понимания полученной информации для создания отчетов или поддержки вопросов и ответов медицинской команды. Схема может появиться в модели в рамках общего обучения/настройки на случаях ухода за пациентами, включающих назначения, а также другие сложные элементы, такие как анализы и процедуры. Поскольку модель GenAI сталкивается со всеми примерами, она должна приобрести экспертизу в интерпретации частичных данных пациента, которые будут предоставляться во время вывода. Понимание модели процесса, отношений и вариаций позволит ей правильно интерпретировать ранее не виденные случаи пациентов без необходимости информации о процессе в подсказке. Впрочем, модели не следует пытаться запоминать конкретную информацию о пациентах, с которой она сталкивается во время предварительного обучения или настройки, такая запоминание будет неэффективным, потому что информация о пациентах постоянно меняется. Модель должна изучить конструкции, а не конкретные случаи. Подобная настройка также позволит минимизировать возможные проблемы с конфиденциальностью.

Резюме

В процессе масштабного внедрения GenAI в предприятия всех отраслей промышленности происходит явный сдвиг к полаганию на высококачественную собственную информацию и требованиям к трассируемости и верифицируемости. Эти основные требования, вместе с давлением на экономическую эффективность и узкую направленность применения, порождают потребность в небольших, целевых моделях GenAI, задача которых – интерпретировать локальные данные, большей частью невидимые в процессе предварительного обучения. Системы, основанные на извлечении, требуют развития некоторых когнитивных компетенций, которые могут быть освоены моделями GenAI глубокого обучения, таких как создание и идентификация соответствующих схем для использования. Используя RCG и руководя процессом предварительного обучения и настройки для создания обобщений и абстракций, отражающих когнитивные конструкции, GenAI может сделать скачок в своей способности понимать схемы и смысл невидимых данных из извлечения. Уточненная абстракция (например, основанная на схеме мышления) и высокоэффективные когнитивные компетенции, кажется, являются следующим фронтиром.

Узнать больше: Серия GenAI

Выживание наиболее приспособленного: компактные модели генеративного ИИ – будущее для эффективного внедрения большомасштабного ИИ

Ссылки

  1. Гиллис, А. С. (2023, 5 октября). Расширенное создание извлечений. Enterprise AI. https://www.techtarget.com/searchenterpriseai/definition/retrieval-augmented-generation
  2. Сингер, Г. (2023, 28 июля). Выживание наиболее приспособленного: компактные модели генеративного ИИ – будущее для эффективного внедрения большомасштабного ИИ. VoAGI. https://towardsdatascience.com/survival-of-the-fittest-compact-generative-ai-models-are-the-future-for-cost-effective-ai-at-scale-6bbdc138f618
  3. Новые модели и продукты для разработчиков, объявленные на DevDay. (без даты). https://openai.com/blog/new-models-and-developer-products-announced-at-devday
  4. Meta AI. (без даты). Представляем Лама 2. https://ai.meta.com/llama/
  5. Льюис, П. (2020, 22 мая). Создание извлечений, обогащенное созданием знаний для задач, связанных с ЯИН. arXiv.org. https://arxiv.org/abs/2005.11401
  6. LangChain. (без даты). https://www.langchain.com
  7. Haystack. (без даты). Haystack. https://haystack.deepset.ai/
  8. Гу, К. (2020, 10 февраля). REALM: Предварительное обучение языковой модели, обогащенное извлечением. arXiv.org. https://arxiv.org/abs/2002.08909
  9. Лаборатории Intel. (без даты). GitHub — Intel Labs/FastRAG: Эффективный фреймворк усиления и генерации извлечений. GitHub. https://github.com/IntelLabs/fastRAG
  10. Флэйшер, Д. (2023, 20 августа). Открытое областное вопросно-ответное использование плотных извлекателей в fastRAG — Даниэль Флэйшер — VoAGI. https://medium.com/@daniel.fleischer/open-domain-q-a-using-dense-retrievers-in-fastrag-65f60e7e9d1e
  11. Лин, С. В. (2023, 2 октября). RA-DIT: Извлечение-обогащение двойной настройки инструкций. arXiv.org. https://arxiv.org/abs/2310.01352
  12. Нг, Й. (2023, 8 августа). SimplyRetrieve: частный и легкий в использовании извлекательно-ориентированный инструмент генеративного ИИ. arXiv.org. <a class=”uri” href=”https