Alibaba AI Open-Sources Qwen Series, которая включает в себя Qwen-1.8B, Qwen-7B, Qwen-14B и Qwen-72B, а также серию Qwen-Chat

Alibaba AI представляет на открытую публику серию Qwen, включающую в себя модели Qwen-1.8B, Qwen-7B, Qwen-14B и Qwen-72B, а также чат-боты Qwen-Chat

С самыми последними моделями в своей серии Qwen открытыми исходными моделями ИИ Alibaba Cloud продвигает границы технологии ИИ еще дальше. Alibaba расширила свои решения ИИ с выпуском Qwen-1.8B и Qwen-72B, а также специализированных моделей чатов и аудио. Hаша преданность Alibaba развитию возможностей ИИ демонстрируется этими моделями, которые обеспечивают улучшенную производительность и универсальность в обработке языка и аудио.

С выпуском Qwen-1.8B и его более крупного эквивалента, Qwen-72B, серия Qwen, которая уже включает Qwen-7B и Qwen-14B, значительно усовершенствована. Qwen-1.8B, предварительно обученная на обширном корпусе из более чем 2,2 триллиона токенов, является моделью, основанной на трансформерах, с 1,8 миллиарда параметров. Эта модель превосходит многие модели схожего размера и даже более крупные модели в различных языковых задачах как на китайском, так и на английском языках. Она также поддерживает длинный контекст с 8192 токенами.

Особенно стоит отметить, что Qwen-1.8B, с его квантованными вариантами int4 и int8, предоставляет доступное решение для развертывания. Эти характеристики делают его разумным выбором для различных приложений, значительно снижая потребности в памяти. Его обширный словарный запас более 150 тысяч токенов далее улучшает его лингвистическую способность.

• Top 10 книг для освоения концепций SQL в 2024 году
• Лаборатория искусственного интеллекта Tencent представляет GPT4Video объединенная модель естественного языка для понимания инструкций и генерации с учетом безопасности.
• Как раскрыть силу GPT-4V в планировании роботизированного задания на базе зрения и языка? Знакомьтесь с ViLa простым и эффективным методом искусственного интеллекта, использующим GPT-4V для долгосрочного планирования роботизированных задач.

Большая модель, Qwen-72B, была обучена на 3 триллиона токенов. Эта модель превосходит GPT-3.5 по большинству задач и превосходит LLaMA2-70B во всех протестированных задачах. Alibaba разработала модели с возможностью низкозатратного развертывания, несмотря на их большое количество параметров; квантованные версии позволяют минимальное использование памяти около 3 ГБ. Этот прорыв значительно снижает преграды для работы с масштабными моделями, которые раньше стоили миллионы долларов для облачных вычислений.

Alibaba представила Qwen-Chat, оптимизированные версии, разработанные для поддержки ИИ и разговорных возможностей, в дополнение к базовым моделям Qwen. В дополнение к генерации материала и упрощению естественного разговора, Qwen-Chat может выполнять интерпретацию кода и задачи резюмирования.

Способность обрабатывать различные аудиовходы, а также текстовые выходы в генерацию текста – это важное достижение мультимодального ИИ Alibaba’s Qwen-Audio. Замечательно, что Qwen-Audio достигает передовых результатов в распознавании речи и различных стандартах аудиораспознавания без необходимости настройки.

В области аудио Qwen-Audio устанавливает новую отметку в качестве фундаментальной аудиолингвистической модели. Он использует фреймворк многозадачного обучения для работы с разными аудиоформатами. Он достигает впечатляющих результатов на нескольких бенчмарках, включая передовые показатели результатов в задачах, таких как AISHELL-1 и VocalSound.

Гибкость Wen-Audio включает работу с несколькими сеансами чата из текстовых и аудиовходов, со свойствами, включающими инструменты редактирования речи, а также аппрекцию музыки и интерпретацию звука.