«Внутренняя архитектура встраивания LinkedIn, обеспечивающая его возможности поиска работы»

Как оптимизировать внутреннюю архитектуру профиля в LinkedIn, чтобы повысить возможности поиска работы

Подробности о одной из самых всесторонних архитектур встраивания, когда-либо созданных.

Недавно я начал выпускать образовательную рассылку,сфокусированную на искусственном интеллекте, которая уже имеет более 160 000 подписчиков. TheSequence является просто ML-ориентированной рассылкой, не нагруженной хайпом, новостями и т.д., и займет всего 5 минут вашего времени. Цель – продолжать быть в курсе проектов машинного обучения, научных статей и концепций. Попробуйте подписаться ниже:

TheSequence | Jesus Rodriguez | Substack

Лучший источник для быть в курсе развития в машинном обучении, искусственном интеллекте и данных…

thesequence.substack.com

Вложения стали одной из самых важных компонентов приложений на основе больших языковых моделей (LLM) в последние месяцы. Все больше рыночных сегментов, таких как векторные базы данных, возникают как механизм для включения архитектур вложений. Однако архитектуры вложений находятся на самом раннем этапе, и только немногие организации успешно их внедряют в масштабах. Поэтому крайне важно учиться у этих компаний с использованием лучших практик и техник, используемых ими. Недавно LinkedIn опубликовал некоторую информацию о своем использовании технологии вложенного базиса (EBR) для преобразования своих систем поиска и рекомендаций. Если вы когда-либо сталкивались с функцией “Работы, которые могут вас заинтересовать” или замечали индивидуальный контент в вашей ленте и уведомлениях LinkedIn, значит, вы видели EBR в действии.

Итак, что такое EBR? Простыми словами, это методика, используемая на ранних этапах систем рекомендаций. Он сканирует огромный массив элементов (например, объявления о вакансиях или статьи ленты) и определяет те, которые наиболее релевантны на основе их сходства с заданным запросом. Представьте себе, что это нахождение элементов, расположенных «рядом» в цифровом пространстве. Как только эти элементы идентифицированы, еще одна модель искусственного интеллекта ранжирует их, чтобы показать пользователю наиболее значимые.

• Переосмысление архитектуры облачного федеративного обучения на платформе AWS
• Шептущие модели для автоматического распознавания речи теперь доступны в Amazon SageMaker JumpStart.
• Новое – возможности генеративного искусственного интеллекта без кодирования теперь доступны в Amazon SageMaker Canvas

Для упрощения использования EBR LinkedIn выпустил несколько новых инструментов и функций:

1) Композитные и многозадачные обучающие модели

Теперь LinkedIn поддерживает создание композитных моделей, которые объединяют различные цели в одну модель. Это ускоряет процесс обучения и повышает эффективность передачи знаний. Например, встроенное вложение может отражать интересы пользователя на основе его профиля и взаимодействий. Это вложение затем влияет на системы поиска и рекомендаций, обеспечивая пользователям контент, действительно соответствующий их интересам.

2) Платформа Feature Cloud

LinkedIn запустил платформу под названием «Feature Cloud», которая объединяет офлайн и генерацию встроенных элементов в режиме реального времени. Эта платформа использует существующие сервисы и координирует разнообразные задачи, подготавливая вложения для использования в EBR-индексах и хранилищах характеристик. Feature Cloud может использоваться для обслуживания различных видов вложений в поисковых приложениях LinkedIn.

3) Усовершенствованная система поиска

Система поиска LinkedIn, совместимая с Lucene, теперь поддерживает автоматическое управление версиями вложений и широкий спектр алгоритмов EBR. Эта адаптивность крайне важна в постоянно изменяющемся мире EBR. Система поиска тесно интегрирована с ранее описанной платформой Feature Cloud.

4) Автоматическое управление версиями вложений

Гарантирование соответствия контента намерению поискового запроса является важным. Однако управление версиями вложений может быть сложным. Например, если команда обновляет модель вложения, она может не соответствовать существующим элементным вложениям, даже если размерности остаются одинаковыми. Функция Feature Cloud LinkedIn поддерживает нативное версионирование вложений, обеспечивая лучшее управление их жизненным циклом.

5) Облачная модель для упрощенного вывода для оркестрации графов

«Model Cloud» LinkedIn теперь поддерживает графы вывода с использованием вложений, поддерживаемых Ray Serve. Это упрощает выполнение графов вывода, сокращает необходимость в сложных рабочих процессах и обеспечивает согласованность версий. Результат? Упрощенная система, где эксперты по искусственному интеллекту могут больше сосредоточиться на улучшении пользовательского опыта и меньше заботиться о управлении инфраструктурой.

6) Повышение точности поиска работы

Поисковые задачи, особенно поиск работы, требуют точного сочетания пользовательских данных, запроса и контекста. До EBR LinkedIn в основном полагался на текстовое сопоставление в рамках поиска работы. Хотя это давало результаты, но было недостаточно глубины в персонализации и семантического сопоставления. С внедрением EBR и новых инструментов LinkedIn повысил свои возможности сопоставления, предлагая пользователям более персонализированный и точный опыт поиска работы.

По сути, LinkedIn расширяет границы искусственного интеллекта и EBR, чтобы гарантировать, что пользователи получают наиболее релевантный контент, будь то рекомендации по работе, контент для ленты или уведомления. Платформа стремится к инновациям, что отчетливо видно в ее постоянных усилиях по совершенствованию и улучшению пользовательского опыта.