Ускорение работы более 130 000 моделей Hugging Face с помощью ONNX Runtime
Увеличение производительности более чем 130 000 моделей Hugging Face с использованием ONNX Runtime
Что такое ONNX Runtime?
ONNX Runtime – это многофункциональный инструмент машинного обучения, который может использоваться для ускорения широкого спектра моделей, особенно тех, которые поддерживают формат ONNX.
Поддержка Hugging Face ONNX Runtime
На Hugging Face существует более 130 000 моделей, которые поддерживают формат ONNX. Hugging Face – это сообщество с открытым исходным кодом, которое позволяет пользователям создавать, обучать и развертывать сотни тысяч общедоступных моделей машинного обучения. Эти модели, включая все более популярные большие модели языка и облачные модели, могут использовать ONNX Runtime для улучшения производительности и получения других преимуществ. Например, использование ONNX Runtime для ускорения модели whisper-tiny может улучшить среднюю задержку на каждое выводное значение и дать до 74,30% прироста по сравнению с PyTorch. ONNX Runtime тесно сотрудничает с Hugging Face, чтобы обеспечить поддержку наиболее популярных моделей на сайте. В целом, ONNX Runtime поддерживает более 90 архитектур моделей Hugging Face, включая 11 наиболее популярных архитектур (популярность определяется соответствующим количеством моделей, загруженных в Hugging Face):
Узнать больше
Чтобы узнать больше о ускорении моделей Hugging Face с помощью ONNX Runtime, ознакомьтесь с нашей последней публикацией на Microsoft Open Source Blog.
