ElevenLabs выпускает Eleven Multilingual v2 модель искусственного интеллекта для речи с поддержкой 30 языков

ElevenLabs releases Eleven Multilingual v2 AI speech model supporting 30 languages.

Недавние исследования ElevenLabs представили многоязыковую модель генерации речи под названием Eleven Multilingual v2, которая создает “эмоционально насыщенный” искусственный интеллект в аудиоформате на почти 30 языках. Эта работа позволит создавать локализованное аудио для европейских, азиатских и средневосточных рынков.

Исследовательская группа изучала индикаторы речи человека в течение 18 месяцев и разработала новые методы для обнаружения контекста, выражения эмоций в генерации речи и синтеза новых, отличительных голосов. Модель автоматически распознает почти 30 письменных языков и генерирует речь на них с беспрецедентным уровнем подлинности, когда вводится текст в текстово-речевую платформу ElevenLabs.

Клонированный или синтетический голос сохраняет отличительные особенности голоса диктора, такие как его родной акцент, на всех говоримых языках. Теперь можно использовать один и тот же голос для озвучивания материала на 28 разных языках.

Этот запуск состоялся после того, как платформа позволила всем авторам использовать профессиональный клонированный голос. Пользователи теперь могут создать цифровую копию своего голоса, которая практически неотличима от оригинала благодаря этому обновлению, которое было выпущено вместе с улучшенной безопасностью и защитой. В дополнение к уже существующим языкам (английский, польский, немецкий, испанский, французский, итальянский, хинди и португальский), новая модель также поддерживает китайский, корейский, голландский, турецкий, шведский, индонезийский, филиппинский, японский, украинский, греческий, чешский, финский, румынский, датский, болгарский, малайский, словацкий, хорватский, классический арабский и тамильский.

ElevenLabs подтвердила, что платформа выходит из бета-версии сегодня, после введения новых функций и постоянных улучшений. Это изменение является поворотным моментом в стремлении компании обслуживать своих более чем миллион пользователей по всему миру надежными и современными ресурсами.

ElevenLabs также работает над методом, который позволит пользователям сотрудничать с искусственным интеллектом для создания нового аудио через платформу.

Добавление текста в речь на многих языках к визуальному контенту делает его более доступным для людей с нарушениями зрения или другими особыми образовательными потребностями. Некоторые примеры приведены ниже:

  1. Инструмент многоязыковой речегенерации открывает новые возможности для независимых разработчиков и издателей игр для перевода игрового опыта и аудиоконтента для международной аудитории, позволяя им общаться с игроками и слушателями на их языках без потери качества или точности.
  2. Аналогично, у школ теперь есть ресурсы для обеспечения студентов своевременным доступом к высококачественному аудиоконтенту носителей языка на целевых языках, что помогает улучшить навыки прослушивания и произношения студентов и удовлетворить различные предпочтения в обучении в их международном студенческом сообществе.

Путем снижения времени и затрат, необходимых для создания качественного аудио на многих языках, ElevenLabs помогает бизнесам и создателям создавать более оригинальный и доступный контент, понятный людям всех культур и языковых групп.