Это исследование искусственного интеллекта представляет интеграцию Lucene для мощного векторного поиска с использованием вложений OpenAI.

Это исследование AI объединяет Lucene для мощного поиска с использованием вложений OpenAI.

В последнее время в области машинного обучения были сделаны значительные успехи в применении глубоких нейронных сетей в области поиска, особое внимание уделяется обучению представлений в рамках би-кодировщика. В этой структуре различные типы контента, включая запросы, пассажи и даже мультимедиа, такие как изображения, преобразуются в компактные и значимые “вложения”, представленные в виде плотных векторов. Эти модели плотного извлечения, построенные на этой архитектуре, служат основой для улучшения процессов извлечения внутри больших языковых моделей (LLM). Этот подход стал популярным и доказал свою высокую эффективность в улучшении общих возможностей LLM в широком контексте сегодняшнего генеративного ИИ.

Изложение предполагает, что в связи с необходимостью обработки множества плотных векторов предприятия должны включать в свою “стопку ИИ” специализированное “хранилище векторов” или “векторную базу данных”. Нишевой рынок стартапов активно продвигает эти векторные хранилища как инновационные и неотъемлемые компоненты современной корпоративной архитектуры. Несколько примеров включают Pinecone, Weaviate, Chroma, Milvus и Qdrant, среди других. Некоторые сторонники даже пошли так далеко, что предложили, что эти векторные базы данных могут в конечном итоге заменить долговременные реляционные базы данных.

В данной статье представлен контраргумент к данному изложению. Аргументы сводятся к простому анализу затрат и выгоды, учитывая, что поиск представляет собой существующее и установленное приложение во многих организациях, приводя к значительным предварительным инвестициям в эти возможности. Производственная инфраструктура доминируется широкой экосистемой, сфокусированной на открытой библиотеке поиска Lucene, наиболее известной благодаря платформам, таким как Elasticsearch, OpenSearch и Solr.

https://arxiv.org/abs/2308.14963

Выше приведено изображение стандартной архитектуры би-кодировщика, в которой кодировщики генерируют плотные векторные представления (вложения) из запросов и документов (пассажей). Поиск фреймирован как поиск “k” ближайших соседей в пространстве векторов. Эксперименты фокусировались на коллекции тестового ранжирования пассажей MS MARCO, созданной на основе корпуса, включающего около 8,8 миллионов пассажей, извлеченных из сети. Для оценки использовались стандартные запросы разработки и запросы из треков глубокого обучения TREC 2019 и TREC 2020.

Полученные результаты позволяют сделать вывод, что сегодня возможно создать прототип векторного поиска, используя вложения OpenAI напрямую с помощью Lucene. Растущая популярность API для вложений поддерживает наши аргументы. Эти API упрощают сложный процесс генерации плотных векторов из контента, делая его более доступным практикующим. Действительно, Lucene – это все, что вам нужно, когда вы создаете поисковые экосистемы сегодня. Но, как это бывает, только время покажет, правы вы или нет. Наконец, это напоминает нам о том, что взвешивание затрат и выгоды останется первостепенным мышлением, даже в быстро развивающемся мире ИИ.