Исследователи Microsoft представляют SpaceEvo революционный инструмент для разработки сверхэффективных и квантованных нейронных сетей для реальных устройств

SpaceEvo Уникальный инструмент для создания сверхэффективных и квантованных нейронных сетей в реальных устройствах от исследователей Microsoft

В мире глубокого обучения остается вызов разработать эффективные модели глубоких нейронных сетей (DNN), которые сочетают высокую производительность с минимальной задержкой на различных устройствах. Существующий подход включает аппаратно-ориентированный поиск нейронной архитектуры (NAS), чтобы автоматизировать проектирование модели для конкретных аппаратных настроек, включая заранее определенное пространство поиска и алгоритм поиска. Однако этот подход часто не принимает во внимание оптимизацию самого пространства поиска.

В ответ на это, исследовательская группа представила новый метод, называемый “SpaceEvo”, для автоматического создания специализированных пространств поиска, оптимизированных для эффективного INT8-вывода на конкретных аппаратных платформах. То, что отличает SpaceEvo, – это его способность выполнять этот процесс проектирования автоматически и приводит к аппаратно-ориентированным, оптимизированным под квантование пространствам поиска NAS с низкой задержкой INT8.

Легковесная конструкция SpaceEvo делает его практичным и требует всего 25 часов работы GPU для создания аппаратно-ориентированных решений, что является экономически эффективным. Это специализированное пространство поиска с операторами и конфигурациями, предпочитаемыми аппаратурой, позволяет исследовать более эффективные модели с низкой задержкой INT8, которые постоянно превосходят существующие альтернативы.

• Исследователи из Калтеха и ЭФИ Цюриха представляют революционные модели диффузии использование текстовых описаний для ведущих визуальных задач и междоменной адаптации.
• Исследователи Meta AI представляют модель машинного обучения, которая исследует декодирование восприятия речи из неинвазивной записи мозга.
• Исследователи Университета Шарджа разрабатывают решения искусственного интеллекта для включения арабского языка и его диалектов в обработку естественного языка.

Исследователи провели глубокий анализ факторов задержки INT8 квантованных на двух широко используемых устройствах, выявив, что выбор типа оператора и конфигураций значительно влияет на задержку INT8. SpaceEvo учитывает эти результаты, создавая разнообразное население точных и подходящих для INT8 архитектур в пространстве поиска. Он включает эволюционный алгоритм поиска, метрику Q-T score, переработанные алгоритмы поиска и схему квантования пространства поиска по блокам.

Двухэтапный процесс NAS гарантирует, что кандидатские модели могут достигать сопоставимой квантованной точности без отдельной настройки или квантования. Обширные эксперименты на реальных периферийных устройствах и ImageNet показывают, что SpaceEvo постоянно превосходит ручные конструкции пространств поиска, устанавливая новые стандарты для соотношения точности и времени задержки INT8 квантования.

В заключение, SpaceEvo является значительным прорывом в поиске эффективных моделей глубокого обучения для различных реальных периферийных устройств. Автоматическое проектирование пространств поиска, способных к квантованию, имеет потенциал улучшить устойчивость решений периферийных вычислений. Исследователи планируют адаптировать эти методы для различных модельных архитектур, таких как трансформаторы, чтобы дальше расширить их роль в проектировании моделей глубокого обучения и эффективном развертывании.