Векторный поиск – не все, что вам нужно

Векторный поиск - не единственное, что вам понадобится

Введение

Повышенная генерация с использованием извлечения информации (RAG) революционизировала открытые вопросно-ответные системы, позволяя им производить ответы, похожие на человеческие, на широкий спектр запросов. В основе RAG лежит модуль извлечения, сканирующий обширный корпус, чтобы найти соответствующие отрывки контекста, которые затем обрабатываются нейронным генерирующим модулем – часто предобученной моделью языка, такой как GPT-3 – для формулирования окончательного ответа.

Хотя этот подход оказался очень эффективным, он не без своих ограничений.

Один из наиболее критических компонентов – векторный поиск внутри встроенных отрывков – имеет встроенные ограничения, которые могут препятствовать системе рассуждать в затейливом стиле. Это особенно заметно, когда вопросы требуют сложного многопрыжкового рассуждения по нескольким документам.

Векторный поиск означает поиск информации с использованием векторных представлений данных. Он включает два ключевых шага:

• Применение AIoT в современности
• Большие языковые модели TinyBERT — дистилляция BERT для NLP
• PyrOSM работа с данными Open Street Map

1. Кодирование данных в векторы

Сначала данные, по которым ведется поиск, кодируются в числовые векторные представления. Для текстовых данных, таких как отрывки или документы, это делается с использованием моделей вложений, таких как BERT или RoBERTa. Эти модели преобразуют текст в плотные векторы непрерывных чисел, представляющие семантическое значение. Изображения, звук и другие форматы также могут быть преобразованы в векторы с использованием соответствующих моделей глубокого обучения.

2. Поиск с использованием векторной схожести

Как только данные преобразованы в векторы, поиск заключается в поиске векторов, похожих на векторное представление поискового запроса. Это основывается на метриках расстояния, таких как косинусная схожесть, чтобы количественно оценить, насколько близки два вектора, и составить рейтинг результатов. Векторы с наименьшим расстоянием (наивысшая схожесть) возвращаются в качестве наиболее релевантных результатов поиска.

Главное преимущество векторного поиска – это возможность поиска семантической схожести, а не только точного совпадения ключевых слов. Векторные представления захватывают концептуальное значение, что позволяет находить более актуальные, но лингвистически разные результаты. Это обеспечивает более высокое качество поиска по сравнению с традиционным сопоставлением ключевых слов.

Однако преобразование данных в векторы и поиск в высокоразмерном семантическом пространстве также имеет свои ограничения. Балансировка компромиссов векторного поиска является активной областью исследований.

В этой статье мы рассмотрим ограничения векторного поиска, исследуя причины его трудностей при…