SALMONN, Первая модель ИИ, которая слышит так же, как люди.
SALMONN первая модель ИИ, обладающая слухом, сравнимым с человеческим.
Путь к сходным с человеческими ощущениями продолжается
Люди часто недооценивают важность слуха для правильного функционирования в нашем мире и, что более важно, в качестве важного инструмента для обучения.
Как сказала знаменитая Хелен Келлер: «Слепота отрезает нас от вещей, но глухота отрезает нас от людей», и не забывайте, что эта женщина была и слепой, и глухой.
Поэтому естественно видеть слух как неотъемлемое требование для того, чтобы ИИ стал привлекательным «существом», которым, как предсказывают некоторые люди.
- SDXL в 4 шага с латентной последовательностью LoRAs
- Войдите в мир самураев и демонов четверг на GFN приносит в облако игру Capcom Onimusha Warlords.
- Обзор AVCLabs Photo Enhancer AI Лучший инструмент для улучшения фотографий?
К сожалению, текущие системы ИИ не очень хороши в восприятии слуха.
Да, новая версия ChatGPT, использующая модель Whisper от OpenAI, довольно хорошо понимает речь, и другие модели очень эффективно улавливают звуковые события.
Но слух – это гораздо больше. Это требует объединения всех различных аудиосигналов, получаемых и применяемых в качестве контекста к тому, что происходит вокруг нас.
Именно эта особенность делает нас людьми, поскольку мы понимаем речь, кодируем случайные шумы и наслаждаемся музыкой, делая «общий слух» одной из последних черт, которые ИИ не мог воспроизвести как люди.
Теперь компания ByteDance, стоящая за TikTok, создала новую модель, которая бросает вызов этому видению.
SALMONN – это первая мультимодальная аудио-языковая ИИ-система для общего слуха, модель, которая может обрабатывать случайные аудиосигналы из трех основных типов звука: речь, звуковые события и музыка.
Более того, как мы скоро увидим, она демонстрирует по-настоящему уникальные, никогда прежде не виденные возможности, такие как аудио-рассказы и аудио-рассуждения.
И сегодня мы понимаем, как это работает.
Эта статья была опубликована несколько дней назад в моей бесплатной еженедельной рассылке, TheTechOasis .
Если вы хотите быть в курсе буйного мира ИИ и вдохновляться на действия или, по крайней мере, быть хорошо подготовленным к предстоящему будущему, это для вас.
🏝Подпишитесь ниже🏝 , чтобы стать лидером среди своих коллег по ИИ и получать контент, который не представлен ни на одной другой платформе, включая VoAGI:
