Исследователи из MIT разработали метод машинного обучения, который позволяет моделям глубокого обучения эффективно адаптироваться к новым данным сенсоров непосредственно на устройстве.
MIT Ученые создали метод машинного обучения, позволяющий моделям глубокого обучения эффективно адаптироваться к новым сенсорным данным прямо на устройстве.
С быстрым развитием технологий устройства Edge становятся неотъемлемой частью нашей повседневной жизни, идеально вписываясь в нашу сетевую общество. Эти широко используемые устройства Edge производят беспрецедентное количество данных на границе наших сетей.
Увеличивается спрос на умные, настраиваемые и конфиденциальные искусственного интеллекта, так как одна модель не может удовлетворить разнообразные требования различных пользователей. Несмотря на то, что устройства Edge часто обрабатывают задачи глубокого обучения, обучение глубоких нейронных сетей обычно происходит на мощных облачных GPU-серверах.
Однако существующие обучающие фреймворки предназначены специально для мощных облачных серверов с ускорителями, которые должны быть оптимизированы для эффективного обучения на устройствах Edge.
- Постройте языковую модель на основе своих чатов WhatsApp
- Ускорение тренировки ваших моделей глубокого обучения
- Эффективная настройка модели с использованием переходного адаптера
Настраиваемые модели глубокого обучения могут позволить ИИ-чатботам адаптироваться к акценту пользователя или умным клавиатурам, которые постоянно улучшают прогнозы слов на основе предыдущей печатной активности.
Данные пользователей обычно отправляются на серверы облака, потому что смартфоны и другие устройства Edge часто не имеют достаточной памяти и вычислительной мощности для этого процесса тонкой настройки. Именно на этих серверах модель обновляется, поскольку они обладают ресурсами, необходимыми для выполнения сложной задачи тонкой настройки ИИ-модели.
В результате исследователи из MIT и других мест разработали PockEngine – технику, позволяющую моделям глубокого обучения эффективно адаптироваться к новым данным сенсоров непосредственно на устройстве Edge. PockEngine сохраняет и вычисляет только точные участки большой модели машинного обучения, требующие обновления для повышения точности.
Большая часть этих вычислений выполняется во время подготовки модели, до запуска времени выполнения, что снижает вычислительные накладные расходы и ускоряет процедуру тонкой настройки. PockEngine значительно ускорил обучение на устройстве; он работал до 15 раз быстрее на некоторых аппаратных платформах. PockEngine предотвращал потерю точности модели. Их метод тонкой настройки позволил известному ИИ-чатботу давать более точные ответы на сложные запросы.
Работа PockEngine быстрее на некоторых аппаратных платформах до 15 раз. Процесс обучения также ускоряется благодаря широкому набору оптимизаций графа обучения, интегрированному в PockEngine.
Преимущества тонкой настройки на устройстве включают улучшенную конфиденциальность, снижение расходов, варианты настройки и пожизненное обучение. Однако для упрощения этого процесса требуется больше ресурсов.
Они утверждают, что PockEngine генерирует граф обратного распространения, пока модель компилируется и готовится к развертыванию. Он делает это, удаляя избыточные участки слоев, что приводит к упрощенной диаграмме, которая может использоваться во время выполнения. Затем делаются дополнительные оптимизации для улучшения эффективности.
Этот метод особенно полезен для моделей, которым требуется много примеров для тонкой настройки, так как исследователи применили его к большой языковой модели Llama-V2. PockEngine отдельно настраивает каждый слой для конкретной задачи, отслеживая повышение точности с каждым слоем. Взвешивая компромиссы между точностью и затратами, PockEngine может определить относительный вклад каждого слоя и необходимый процент его тонкой настройки.
С помощью увеличения скорости в 15 раз по сравнению с предварительно созданным TensorFlow для Raspberry Pi PockEngine доказал, что имеет впечатляющие улучшения скорости. Кроме того, он достиг значительной экономии памяти в 5,6 раз во время обратного распространения на Jetson AGX Orin; PockEngine показал впечатляющее увеличение скорости. В основном, PockEngine позволяет эффективно настраивать LLaMav2-7B на NVIDIA.
