Fetch сокращает задержку обработки ML на 50% с использованием Amazon SageMaker и Hugging Face

Fetch сокращает задержку обработки ML на 50% с Amazon SageMaker и Hugging Face

Эта статья является перепостом из оригинальной публикации сентября 2023 года на сайте AWS.

Обзор

Компания Fetch, специализирующаяся на привлечении и вознаграждении потребителей, предлагает приложение, которое позволяет пользователям зарабатывать вознаграждения за покупки, сканируя свои чеки. Компания также анализирует эти чеки, чтобы получить понимание потребительского поведения, и предоставляет эти инсайты партнерам по бренду. С ростом еженедельных сканирований Fetchу потребовалось улучшить скорость и точность.

На Amazon Web Services (AWS) Fetch оптимизировал свою систему машинного обучения (ML), используя Hugging Face и Amazon SageMaker – сервис для создания, обучения и развертывания моделей ML с полностью управляемой инфраструктурой, инструментами и рабочими процессами. Теперь приложение Fetch может обрабатывать сканирования быстрее и с гораздо большей точностью.

Возможность | Использование Amazon SageMaker для ускорения ML-пайплайна за 12 месяцев для Fetch

С помощью приложения Fetch клиенты могут сканировать чеки, получать баллы и обменивать их на подарочные карты. Чтобы вознаграждать пользователей мгновенно за сканирование чеков, Fetchу нужно было иметь возможность извлекать текст с чека, извлекать важные данные и структурировать их так, чтобы остальная система могла их обрабатывать и анализировать. При обработке более 80 миллионов чеков еженедельно – сотни чеков в секунду во время пикового трафика – это нужно было делать быстро, точно и в масштабе.

• Азиатские игры становятся вехой для киберспорта, разжигая олимпийские мечты
• Как ученые взламывают исторические коды, чтобы раскрыть потерянные секреты
• Проектирование устойчивых городов в Arup с использованием геопространственных возможностей Amazon SageMaker

В 2021 году Fetch приступил к оптимизации функциональности сканирования своего приложения. Fetch является компанией, родом из AWS, и его команда по ML-операциям уже использовала Amazon SageMaker для многих своих моделей. Это позволило принять решение о усовершенствовании ML-пайплайна путем миграции своих моделей на Amazon SageMaker.

В ходе проекта Fetch проводил еженедельные звонки с командой AWS и получал поддержку от эксперта, которого AWS связал с Fetch. Компания создала, обучила и развернула более пяти моделей ML с использованием Amazon SageMaker за 12 месяцев. В конце 2022 года Fetch выпустил обновленное мобильное приложение и новый ML-пайплайн.

“Amazon SageMaker – это революционное новшество для Fetch. Мы используем почти все функции в полной мере. Как только появляются новые функции, они сразу становятся ценными. Трудно представить, как мы могли бы реализовать этот проект без функций Amazon SageMaker”.

Сэм Корзин, инженер машинного обучения, Fetch

Решение | Снижение задержки на 50% с использованием ML и Hugging Face на графических процессорах Amazon SageMaker

“С помощью гибкости Hugging Face AWS Deep Learning Container мы смогли улучшить качество наших моделей, а партнерство Hugging Face с AWS означало, что развертывание этих моделей было простым”.

Сэм Корзин, инженер машинного обучения, Fetch

ML-пайплайн Fetchа работает на нескольких функциях Amazon SageMaker, в частности на обучении моделей Amazon SageMaker, которое сокращает время и затраты на обучение и настройку моделей ML в масштабе, и на обработке Amazon SageMaker, упрощенной управляемой среде для выполнения рабочих нагрузок по обработке данных. Компания запускает свои пользовательские модели ML с использованием многопроцессорных GPU-инстансов для быстрого выполнения. “Использование GPU-инстансов на Amazon SageMaker просто”, – говорит Эллен Лайт, бэкэнд-инженер в Fetch. Fetch обучает эти модели для идентификации и извлечения ключевой информации с чеков, которую компания может использовать для получения ценных инсайтов и вознаграждения пользователей. И на Amazon SageMaker пользовательская ML-система Fetchа легко масштабируется. “Используя Amazon SageMaker, у нас есть простой способ масштабировать наши системы, особенно для вывода и времени выполнения”, – говорит Сэм Корзин, инженер машинного обучения в Fetch. При этом стандартизированные развертывания моделей означают меньше ручной работы.

Fetch сильно полагался на функции обучения ML Amazon SageMaker, особенно на его задания обучения, по мере совершенствования и итерации моделей. Fetch также может обучать модели ML параллельно, что ускоряет разработку и развертывание. “У нас почти нет препятствий для развертывания моделей”, – говорит Алек Сташевский, прикладной ученый в Fetch. “В основном, нам не нужно об этом думать”. Это повысило уверенность и повысило производительность для всей компании. В одном примере новый стажер смог самостоятельно развернуть модель к третьему дню работы.

С момента внедрения Amazon SageMaker для настройки, обучения и повторного обучения ML Fetch улучшил точность своей модели понимания документов на 200 процентов. Он продолжает настраивать свои модели для дальнейшего улучшения. “Amazon SageMaker стал ключевым инструментом в создании этих выдающихся моделей”, – говорит Куэнси Ю, инженер по машинному обучению в Fetch. Для оптимизации процесса настройки Fetch полагается на Amazon SageMaker Inference Recommender, возможность Amazon SageMaker, которая сокращает время, необходимое для внедрения моделей машинного обучения в производство путем автоматизации нагрузочного тестирования и настройки модели.

Помимо своих собственных моделей машинного обучения, Fetch использует AWS Deep Learning Containers (AWS DL Containers), которые бизнесы могут использовать для быстрого развертывания сред разработки глубокого обучения с оптимизированными, предварительно упакованными образами контейнеров. Это упрощает процесс использования библиотек от Hugging Face Inc.(Hugging Face), компании по искусственному интеллекту и партнеру AWS. В частности, Fetch использует Amazon SageMaker Hugging Face Inference Toolkit, открытую библиотеку для обслуживания моделей transformers, и Hugging Face AWS Deep Learning Container для обучения и вывода результатов. “Используя гибкость Hugging Face AWS Deep Learning Container, мы смогли улучшить качество наших моделей”, – говорит Корзайн. “И партнерство Hugging Face с AWS означало, что развертывание этих моделей было простым”.

Для каждой измеряемой Fetch метрики производительность улучшилась с момента внедрения Amazon SageMaker. Компания сократила задержку для своих самых медленных сканирований на 50 процентов. “Наше улучшенное качество также создает доверие к нашим данным среди партнеров”, – говорит Корзайн. С большим доверием партнеры увеличат использование решения Fetch. “Возможность значительно улучшить точность на каждой точке данных с использованием Amazon SageMaker – это огромное преимущество, которое распространяется на всю нашу компанию”, – говорит Корзайн.

Теперь Fetch может извлекать больше типов данных из квитанции, и у него есть гибкость структурировать полученные результаты в соответствии с конкретными потребностями брендовых партнеров. “Вкладываясь в машинное обучение, мы получили возможность извлекать именно то, что наши партнеры хотят из квитанции”, – говорит Корзайн. “Партнеры могут предлагать новые типы предложений из-за нашего вложения в машинное обучение, и это огромное дополнительное преимущество для них”.

Пользователям также нравятся обновления; Fetch вырос с 10 миллионов до 18 миллионов ежемесячных активных пользователей с момента выпуска новой версии. “Amazon SageMaker – это переломный момент для Fetch”, – говорит Корзайн. “Мы используем почти все функции в большом объеме. При выходе новых функций они сразу же приносят пользу. Трудно представить, как мы смогли бы выполнить этот проект без функций Amazon SageMaker”. Например, Fetch перешел от пользовательской теневой тестовой конвейера к теневому тестированию Amazon SageMaker – которое проверяет производительность новых моделей машинного обучения по сравнению с моделями, используемыми в производстве, чтобы предотвратить сбои. Теперь теневое тестирование происходит более прямо, потому что Fetch может непосредственно сравнивать производительность с производственным трафиком.

Итог | Расширение машинного обучения на новые сферы применения

Команда машинного обучения в Fetch постоянно работает над новыми моделями и дорабатывает существующие, чтобы настроить их на лучшую производительность. “Еще одна вещь, которая нам нравится, – возможность держать нашу технологическую платформу в актуальном состоянии с новыми функциями Amazon SageMaker”, – говорит Крис Ли, разработчик машинного обучения в Fetch. Компания будет продолжать расширять свое использование AWS для различных сфер применения машинного обучения, таких как предотвращение мошенничества, на разных команд.

Уже являясь одной из крупнейших компаний по взаимодействию с потребителями, Fetch стремится продолжать расти. “AWS является ключевой частью нашего плана масштабирования, и мы будем полагаться на функции Amazon SageMaker для продолжения улучшения нашей точности”, – говорит Корзайн.

О Fetch

Fetch – это компания, занимающаяся взаимодействием с потребителями, которая предоставляет брендовым партнерам информацию о покупках потребителей. Она также предлагает мобильное приложение для наград, которое позволяет пользователям зарабатывать награды за покупки с помощью функции сканирования квитанций.

Если вам нужна поддержка при использовании Hugging Face на SageMaker для вашей компании, свяжитесь с нами по этому адресу – наша команда свяжется с вами для обсуждения ваших требований!