Текст в звук – обучайте свои большие языковые модели

Обучайте большие языковые модели для перевода текста в звук

Введение

Представьте себе мир, в котором искусственный интеллект может принимать голосовые команды музыканта и превращать их в прекрасные, мелодичные звуки гитары. Это не научная фантастика; это результат передовых исследований в сообществе с открытым исходным кодом “Звук искусственного интеллекта”. В этой статье мы рассмотрим путь создания больших языковых моделей (LLM) для “Распознавания намерений музыканта” в области “Текст в звук” в генеративной искусственной интеллекте звуков гитары. Мы обсудим стоящие перед нами проблемы и инновационные решения, разработанные для воплощения этой задачи в жизнь.

Цели обучения:

• Понять проблемы и инновационные решения в создании больших языковых моделей в области “Текст в звук”.
• Исследовать основные проблемы, с которыми сталкиваются при разработке модели искусственного интеллекта для генерации звуков гитары на основе голосовых команд.
• Получить представление о будущих подходах с использованием достижений искусственного интеллекта, таких как ChatGPT и модель QLoRA для улучшения генеративного искусственного интеллекта.

Постановка проблемы: Распознавание намерений музыканта

Проблема заключалась в том, чтобы позволить искусственному интеллекту генерировать звуки гитары на основе голосовых команд музыканта. Например, когда музыкант говорит: “Дай мне свой яркий звук гитары”, модель искусственного интеллекта должна понять намерение создать яркий звук гитары. Для этого требуется контекст и понимание области, так как слова, например, “яркий”, имеют различные значения в общем языке, но они представляют определенное качество тембра в музыкальной области.

Проблемы и решения с набором данных

Первый шаг к обучению большой языковой модели – это наличие набора данных, соответствующего входу и желаемому выводу модели. Мы столкнулись с несколькими проблемами, пытаясь найти правильный набор данных для обучения нашей LLM, чтобы она могла понимать команды музыканта и отвечать правильными звуками гитары. Вот как мы справились с этими проблемами.

• LLM и анализ данных Как искусственный интеллект помогает понять большие данные для бизнес-аналитики
• Познакомьтесь с PhysObjects набором данных, основанных на объектах, с 36,9 тыс. аннотаций объектов, полученных от массовых пользователей, и 417 тыс. автоматизированных аннотаций физических концепций обычных предметов домашнего обихода.
• Как построить стратегию науки о данных для команд любого размера

Проблема 1: Подготовка набора данных для области гитарной музыки

Одной из главных проблем было отсутствие готовых наборов данных, специфичных для гитарной музыки. Чтобы преодолеть это, команда должна была создать свой собственный набор данных. В этот набор данных должны были входить беседы между музыкантами, обсуждающими звуки гитары, чтобы создать контекст. Они использовали источники, такие как обсуждения на Reddit, но считали необходимым расширить этот набор данных. Они применяли такие техники, как увеличение данных, использование глубоких моделей BiLSTM и создание наборов данных с контекстом.

Проблема 2: Аннотирование данных и создание помеченного набора данных

Вторая проблема заключалась в аннотировании данных для создания помеченного набора данных. Большие языковые модели, такие как ChatGPT, часто обучаются на общих наборах данных и требуют настройки для задач, специфичных для области. Например, “яркий” может относиться к свету или качеству музыки. Команда использовала инструмент аннотации под названием Doccano, чтобы обучить модель правильному контексту. Музыканты пометили данные метками для инструментов и качества тембра. Аннотация была сложной из-за необходимости экспертизы в области, но команда частично решила эту проблему, применив подход активного обучения для автоматической пометки данных.

Проблема 3: Моделирование как задача машинного обучения – подход NER

Определение правильного подхода к моделированию также было преградой. Следует ли рассматривать его как идентификацию тем или сущностей? Команда выбрала Named Entity Recognition (NER), поскольку он позволяет модели идентифицировать и извлекать сущности, связанные с музыкой. Они использовали обработку естественного языка spaCy и модели-трансформеры, такие как RoBERTa от HuggingFace. Такой подход позволил генеративному искусственному интеллекту распознавать контекст слов, таких как “яркий” и “гитара” в музыкальной области, а не их общие значения.

Проблемы и решения при обучении модели

Обучение модели является важным этапом разработки эффективных и точных моделей искусственного интеллекта и машинного обучения. Однако оно часто сопровождается своими трудностями. В контексте нашего проекта мы столкнулись с некоторыми уникальными проблемами при обучении нашей модели-трансформера и должны были найти инновационные решения, чтобы преодолеть их.

Переобучение и проблемы с памятью

Одной из основных проблем, с которыми мы столкнулись во время обучения модели, было переобучение. Переобучение происходит, когда модель слишком специализируется на обучающих данных, что приводит к плохой производительности на невидимых или реальных данных. Учитывая ограниченность обучающих данных, переобучение было реальной проблемой. Для решения этой проблемы нам нужно было убедиться, что наша модель может хорошо справляться с различными сценариями в реальном мире.

Для решения этой проблемы мы применили технику увеличения данных. Мы создали четыре разных набора тестов: один для оригинальных тренировочных данных и три других для тестирования в различных контекстах. В контекстных наборах тестов мы изменяли целые предложения, сохраняя музыкальные сущности. Тестирование с помощью невидимого набора данных также сыграло важную роль в проверке надежности модели.

Однако наш путь не был без препятствий, связанных с памятью. Обучение модели с использованием библиотеки обработки естественного языка spaCy вызывало проблемы с памятью. Изначально мы выделили только 2% наших тренировочных данных для оценки из-за ограничений памяти. Расширение набора оценки до 5% также привело к проблемам с памятью. Чтобы обойти это, мы разделили тренировочный набор на четыре части и обучили их отдельно, решая проблему с памятью, сохраняя точность модели.

Производительность модели и точность

Нашей целью было обеспечить хорошую производительность модели в реальных сценариях и чтобы достигнутая нами точность не была обусловлена исключительно переобучением. Процесс обучения был впечатляюще быстрым, занимая только часть всего времени, благодаря большой языковой модели RoBERTa, которая была предварительно обучена на обширных данных. spaCy также помогла нам определить лучшую модель для нашей задачи.

Результаты были обнадеживающими, с точностью, превышающей 95%. Мы проводили тесты с различными наборами данных, включая контекстные и содержательные наборы данных, которые дали впечатляющую точность. Это подтвердило, что модель быстро училась, несмотря на ограниченные тренировочные данные.

Стандартизация ключевых слов собственных имен

Мы столкнулись с непредвиденным вызовом, когда мы углубились в проект и просили отзывы от настоящих музыкантов. Ключевые слова и описания, которые они использовали для звука и музыки, значительно отличались от наших изначально выбранных слов, относящихся к музыкальной области. Некоторые из терминов, которые они использовали, даже не являлись типичным музыкальным жаргоном, например “храмовый колокол”.

Для решения этой проблемы мы разработали решение, известное как стандартизация ключевых слов собственных имен. Это включало создание отображения, похожего на онтологию, идентификацию пар противоположных качеств (например, яркий против темный) с помощью экспертов в данной области. Затем мы использовали методы кластеризации, такие как косинусное расстояние и манхэттенское расстояние, чтобы идентифицировать стандартизированные ключевые слова, которые наиболее близко соответствовали терминам, предоставленным музыкантами.

Этот подход позволил нам сузить разрыв между словарем музыканта и тренировочными данными модели, обеспечивая точность модели при генерации звуков на основе разнообразных описателей.

Будущие подходы с помощью моделей ChatGPT и QLoRA

Перейдем к настоящему времени, где появились новые достижения в области искусственного интеллекта, включая модели ChatGPT и Quantized Low-Rank Adaptation (QLoRA). Эти разработки предлагают интересные возможности для преодоления проблем, с которыми мы столкнулись в нашем предыдущем проекте.

ChatGPT для сбора данных и аннотирования

ChatGPT доказал свои возможности в генерации текста, похожего на текст, созданный человеком. В нашей текущей ситуации мы бы использовали ChatGPT для сбора данных, аннотирования и предварительной обработки. Его способность генерировать текстовые примеры на основе подсказок может значительно снизить усилия, затрачиваемые на сбор данных. Кроме того, ChatGPT может помочь в аннотировании данных, что делает его ценным инструментом на ранних этапах разработки модели.

Модель QLoRA для эффективного дообучения

Модель QLoRA представляет собой перспективное решение для эффективного дообучения больших языковых моделей (LLM). Квантование LLM до 4 битов позволяет сократить использование памяти без потери скорости. Дообучение с помощью адаптеров с низким рангом позволяет сохранить большую часть исходной точности LLM, адаптируя его под специфические для области данных. Этот подход предлагает более экономичную и быструю альтернативу традиционным методам дообучения.

Использование векторных баз данных

В дополнение к вышеизложенному, мы можем исследовать использование векторных баз данных, таких как Milvus или Vespa, для поиска семантически похожих слов. Вместо полного полагания на алгоритмы сопоставления слов, эти базы данных могут ускорить поиск контекстуально значимых терминов, дополнительно улучшая производительность модели.

В заключение, наши проблемы во время тренировки модели привели к инновационным решениям и ценным урокам. С последними достижениями в области искусственного интеллекта, такими как ChatGPT и QLoRA, у нас есть новые инструменты для более эффективного и эффективного решения этих проблем. По мере развития искусственного интеллекта, также будут развиваться наши подходы к созданию моделей, которые могут генерировать звуки на основе разнообразного и динамичного языка музыкантов и артистов.

Заключение

В ходе этого путешествия мы увидели потрясающий потенциал генеративного искусственного интеллекта в области “Распознавания намерений музыканта”. От преодоления проблем, связанных с подготовкой набора данных, аннотацией и тренировкой модели, до стандартизации ключевых слов собственных имен, мы видели, как инновационные решения открывают путь для искусственного интеллекта в понимании и генерации звуков на основе голосовых команд музыканта. Развитие искусственного интеллекта с помощью инструментов, таких как ChatGPT и QLoRA, обещает еще большие возможности для будущего.

Основные выводы:

• Мы научились решать различные проблемы при обучении искусственного интеллекта генерировать звуки гитары на основе голосовых команд музыканта.
• Основная проблема при разработке этого искусственного интеллекта заключалась в отсутствии готовых наборов данных, для которых требовались конкретные наборы данных.
• Еще одной проблемой была разметка данных с использованием доменно-специфических меток, которая была решена с помощью инструментов аннотации, таких как Doccano.
• Мы также рассмотрели некоторые из будущих подходов, такие как использование моделей ChatGPT и QLoRA для улучшения системы искусственного интеллекта.

Часто задаваемые вопросы

Об авторе: Руби Эннетт

Доктор Руби Эннетт является опытным инженером машинного обучения с PhD и магистром по информационным технологиям. Она базируется в Техасе, США, и специализируется на настройке моделей NLP и глубокого обучения для развертывания в режиме реального времени, особенно в области AIOps и облачного интеллекта. Ее экспертиза также распространяется на системы рекомендаций и генерацию музыки. Доктор Руби является автором более 14 статей и обладает двумя патентами, внося значительный вклад в область.

Адрес электронной почты: [email protected]

Страница DataHour: https://community.analyticsvidhya.com/c/datahour/datahour-text-to-sound-train-your-large-language-models

LinkedIn: https://www.linkedin.com/in/ruby-annette/