Эта научная статья ознакамливает с Perseus революционной платформой для сокращения излишнего энергопотребления при масштабировании обучения моделей машинного обучения и искусственного интеллекта на до 30%.
Персей открывает новую эру в сокращении энергопотребления при масштабировании обучения моделей машинного обучения и искусственного интеллекта на 30%!
Большие языковые модели, такие как GPT-3, требуют значительного энергопотребления из-за своих вычислительных потребностей во время обучения и вывода. Расход энергии значительно варьируется в зависимости от таких факторов, как размер модели, сложность задачи, технические характеристики оборудования и продолжительность работы.
Обучение этих моделей требует обширных вычислительных ресурсов, зачастую включающих мощные графические процессоры или тензорные процессоры, что приводит к значительному энергопотреблению в течение продолжительного времени. Оценки показывают, что обучение большой языковой модели, такой как GPT-3, может потреблять электроэнергию, эквивалентную тому, что потребляют несколько домохозяйств в течение нескольких дней или недель.
Оптимизация энергопотребления является крайне важной и должна проводиться без замедления эффективности модели. Исследователи стремятся уменьшить энергопотребление, которое можно удалить без потери пропускной способности при обучении больших языковых моделей. Количество вычислений в каждом этапе конвейера является важной задачей для планирования распределенного выполнения. Распределение нагрузки на каждый этап невозможно, так как глубокие нейронные сети (DNN) представляют собой крупнозернистые тензорные операции с различной вычислительной сложностью.
- Давайте исследуем передачу знаний…
- В этой статье исследуется модель мозга AI с помощью глубокого обучения продвижение нейронных сетей с использованием идей из нейронауки и руководств по библиотеке snnTorch на языке Python.
- Эта статья о искусственном интеллекте представляет прорывной метод моделирования динамики 3D-сцены с использованием видеорядов с множеством ракурсов.
Ученые из Университета Мичигана и Университета Вашингтона обнаружили, что не вся энергия, потребляемая во время обучения, прямо влияет на итоговую производительность, и ее можно значительно уменьшить без замедления обучения. Они выявили внутренние и внешние источники расточительного энергопотребления и предложили единую оптимизационную рамку с названием Perseus, которая минимизирует оба фактора.
Причиной внутреннего расточительного энергопотребления является дисбаланс вычислений, а причиной внешнего расточительного энергопотребления является параллельная работа нескольких конвейеров, синхронизированных для масштабирования обучения на огромных наборах данных. Конвейеры, работающие быстрее задерживающихся конвейеров, быстры и таким образом тратят энергию, которая не влияет на общую производительность обучения.
Perseus эффективно предварительно характеризует энергию за каждую итерацию, минимизируя внутреннее расточительное энергопотребление в нормальных рабочих условиях. Он сокращает внешнее расточительное энергопотребление путем субоптимального снижения энергии. Он находит энергооптимальное время итерации для незадерживающегося конвейера путем точного замедления вычислений в конвейере.
Исследователи моделируют задержки при обучении больших моделей с гибридным параллелизмом в различных конфигурациях сильного масштабирования. Они измеряют объем потерь энергии и экономию энергии от применения Perseus. После завершения вычислений другие незадерживающиеся конвейеры ожидают завершения вычислений задерживающегося конвейера, что приводит к внешнему расточительному энергопотреблению. В результате уменьшается количество микро-пакетов и соотношение пузырей конвейера в начале и конце каждой итерации конвейера. Это устраняет внутреннее расточительное энергопотребление, что ведет к снижению энергии.
Интеграция Perseus в процесс обучения имеет значительное значение для будущего развития искусственного интеллекта. Их работа имеет потенциал значительно повысить устойчивость распределенного обучения в развитии LLM и GenAI.
