Шон Маллани, главный технический директор Algolia – серия интервью
Шон Маллани, гл.техдир Algolia - серия интервью
Шон Маллани – главный технолог в Algolia, платформе поиска и обнаружения, полностью основанной на искусственном интеллекте.
Шон является бывшим исполнительным директором Stripe и Google с опытом масштабирования инженерных организаций, разработки инструментов поиска и обнаружения на основе искусственного интеллекта и глобального развития решений, ориентированных на API. В Algolia он руководит технологическими аспектами второго по величине поискового движка после Google, который используется для более чем 1,5 трлн поисковых запросов ежегодно. Недавно он возглавил запуск AlgoliaNeuralSearch – самого быстрого, гипермасштабируемого и экономически эффективного векторного и ключевого поиска по API в мире.
Что изначально привлекло вас в компьютерные науки?
Когда мне было 10 лет, мои родители купили первый компьютер для нашего дома. Первое, что я хотел сделать, это разобраться, как написать текстовую игру на основе книги. Через несколько лет я начал изучать C++, но разработка компьютерных игр оставалась моей большой страстью, когда я был подростком, только начинающим осваивать компьютерные науки.
Вы проработали более 7 лет в Google, где помогали создавать и руководить командами, занимающимися стратегией, операциями, обработкой больших данных и машинным обучением. Какой проект был вашим любимым, и что вы извлекли из этого опыта?
Мы научились использовать все данные о том, как рекламодатели используют наши продукты, для помощи продажным командам. Мы создали пользовательские правила (позднее более сложные нейронные сети), чтобы предсказывать, каким клиентам мы должны обращаться с какими продуктами в какое время, чтобы максимизировать вероятность того, что время сотрудников по продажам приведет к увеличению выручки. С более чем 1 миллионом рекламодателей на Google, этот инструмент значительно помогал продажным командам находить редкие возможности.
В недавней сводке DevBit вы описали цель Algolia: позволить пользователям индексировать мир и двигать контент. Можете ли вы разъяснить, что означает эта фраза?
В конечном счете, мы хотим помочь нашим клиентам извлекать ценность из своих данных. Интернет создал огромный взрыв контента и товаров электронной коммерции, и хотя это, конечно, является значительным достижением, огромное количество информации усложняет поиск нужного контента для пользователей. Однако, когда поиск и обнаружение осуществляются с помощью искусственного интеллекта, растущий список контента может быть интеллектуально доступен и двигаться, чтобы действительно помогать пользователям, а не перегружать их.
В сентябре 2022 года Search.io и его основной продукт NeuralSearch™ были приобретены Algolia, можете ли вы рассказать о спецификах этой технологии поиска?
Вкратце, Algolia NeuralSearch объединяет сопоставление ключевых слов с обработкой естественного языка на основе векторов, работающую на базе LLMs, в одном API – это первый в отрасли подход. Решение включает нашу эксклюзивную технику Neural Hashing, которая делает использование векторов масштабируемым и на 90% более эффективным с точки зрения затрат – проблема, с которой сталкиваются другие компании в области искусственного интеллекта, включая ChatGPT. Самое интересное в этом прорывном продукте заключается в том, что он делает масштабируемый настоящий поиск по искусственному интеллекту для организаций высшего уровня.
Новая технология также позволяет клиентам, таким как розничные продавцы, понимать и предоставлять контент, соответствующий запросам, которые обычно слишком разговорные для точных или любых результатов (считаются длинными). Они составляют 55% текущих запросов на сайте. Будучи единственным решением поиска на основе искусственного интеллекта, которое применяет искусственный интеллект к пониманию запросов, извлечению и ранжированию, NeuralSearch действительно понимает эти запросы и превращает упущенные возможности в доход.
Помимо Neuralsearch™, какие еще методы машинного обучения используются?
Мы применяем искусственный интеллект в трех основных функциях: понимание запроса, извлечение запроса и ранжирование результатов. В Algolia мы называем это искусственным интеллектом поиска:
- Понимание запроса: Расширенное понимание естественного языка Algolia и векторный поиск на основе искусственного интеллекта обеспечивают понимание выражений на естественном языке и категоризацию запросов, которые готовят и структурируют запрос для анализа. Кроме того, адаптивное обучение на основе обратной связи пользователя настраивает понимание намерений.
- Извлечение запроса: Затем извлекаются и ранжируются наиболее релевантные результаты от наиболее до наименее релевантных. Процесс извлечения объединяет результаты Neural Hashing параллельно с ключевыми словами, используя тот же индекс для удобного извлечения и ранжирования. Такой подход решает проблему “нулевых результатов” и значительно улучшает позиции и коэффициенты перехода. Ни одна другая платформа поиска в области поиска и обнаружения не предлагает такую мощную возможность.
- Ранжирование: Наконец, лучшие результаты перемещаются вверх с помощью алгоритма переранжировки, работающего на основе искусственного интеллекта Algolia. Он учитывает множество сигналов, связанных с запросом (включая точность сопоставления ключевых слов, контекстуальный профиль персонализации, наблюдаемую популярность элементов, семантический балл сопоставления и т. д.) и учится достигать максимальной релевантности.
Кроме того, по мере изменения индекса, добавления новых продуктов и загрузки нового контента, продукт Algolia NeuralSearch, работающий на основе искусственного интеллекта, будет автоматически учиться и корректироваться. Он не требует дополнительного числа сотрудников или ручных операций. Он автоматически будет подбирать ключевые слова или понятия – возможно, смешивая оба варианта – в зависимости от запроса или фразы поиска. Это действительно ставит поиск на автопилот.
Algolia недавно увеличил предложение бесплатного плана от 10000 записей до 1 миллиона записей, какое было понимание за этим, и как рынок отреагировал на это?
Мы специально выбрали развитие ценообразования и упаковки Algolia, чтобы сделать его еще более удобным для разработчиков с помощью введения двух новых планов, ориентированных на разработчиков: бесплатный план “Создание” и план “Рост”, предлагающий простую масштабируемость по доступной цене. Новый план “Создание” увеличивает количество бесплатных записей, которые разработчик может хранить в Algolia, с 10 000 до 1 миллиона записей. Это увеличение в 100 раз позволяет разработчикам индексировать в Algolia гораздо больше бесплатных записей. Кроме того, Algolia снизила стоимость запросов поиска в плане “Рост” на 50% и стоимость записей на 60%.
Идея нашего обновленного плана ценообразования “Создание” заключается в том, чтобы предоставить разработчикам бесплатный доступ ко всем возможностям нашей платформы поиска и обнаружения на основе искусственного интеллекта. План “Рост” предоставляет разработчикам более удобное использование с учетом масштаба в настройках живого производства.
Важно отметить, что любой дизайнер, создатель или разработчик – будь то профессиональный инженер или любитель – могут быстро и легко получить доступ ко всем инструментам, документации, образцам кода, образовательному контенту и возможностям кросс-платформенной интеграции, необходимым для начала работы по управлению данными, созданию интерфейса поиска, настройке аналитики и многому другому – все бесплатно. Кроме того, они сразу получат доступ к растущему сообществу разработчиков, превышающему 5 миллионов человек.
Можете ли вы рассказать о возможностях по персонализации поиска, которые предлагает Algolia?
Algolia предлагает несколько инструментов для персонализации поиска, которые позволяют компаниям использовать данные для улучшения рекомендаций, включая различные типы рекомендаций и уникальные способы использования данных для их формирования.
Несколько примеров:
- Тенденции: Предлагайте другие товары, которые пользуются популярностью и связаны с запросами, которые делают ваши клиенты.
- Оценки: Люди хотят покупать товары с лучшими оценками.
- Персонализация: Мы рекомендуем эти товары на основе того, что вы покупали в прошлый раз, истории просмотров, местоположения или других факторов.
Такие методы, основанные на данных, помогают быстро улучшать результаты на основе взаимодействия клиентов с товарами, что повышает вероятность рекомендации товаров, которые действительно приводят к наилучшим результатам.
Вы описали Algolia как самый масштабируемый гибридный поисковый движок на основе искусственного интеллекта в мире. Как Algolia была разработана для эффективного масштабирования?
Все сводится к нейрохешированию. Это передовое решение сжимает и значительно ускоряет каждый запрос. Вычисление хешированной схожести гораздо быстрее, чем стандартное сравнение векторов, и результаты возвращаются за миллисекунды.
Нейрохеширование представляет собой прорыв в использовании поиска на основе искусственного интеллекта во множестве сценариев. В сочетании с обработкой и переупорядочиванием запросов на основе искусственного интеллекта, оно обещает полностью раскрыть возможности искусственного интеллекта в поиске на сайте. До того, как Algolia представила свое собственное прорывное решение, векторный поиск был слишком вычислительно затратным для использования в производственных условиях.
Часть, на которую я хотел бы сосредоточиться больше всего, – это извлечение информации. Мы говорим о том, что мы – единственный истинный поисковый движок на основе искусственного интеллекта с полным циклом работы, потому что за кулисами поисковой индустрии велась постоянная борьба за добавление искусственного интеллекта к извлечению информации. Поиск информации – это крайне сложный процесс, и еще сложнее освоить высокопроизводительное и экономичное извлечение информации с использованием искусственного интеллекта в масштабах. Мы освоили это с помощью нашей прорывной техники нейрохеширования. Таким образом, мы практически завоевали священный Грааль поиска на основе искусственного интеллекта.
Есть ли еще что-то, что вы хотели бы рассказать о Algolia?
Это увлекательное время для работы в Algolia, и мы всегда готовы начать разговор с талантливыми и страстными людьми, которые хотят присоединиться к нам в нашем путешествии по созданию лучшей поисковой технологии в мире. Если это звучит как что-то для вас, я приглашаю вас ознакомиться с нашими текущими вакансиями по адресу https://www.algolia.com/careers/.
