Google AI представляет TSMixer продвинутую многомерную модель для долгосрочного прогнозирования, которая использует характеристики линейных моделей для достижения высокой производительности по стандартам.

Google AI presents TSMixer, an advanced multidimensional model for long-term forecasting that utilizes linear model characteristics to achieve high performance standards.

В последние годы важность точного прогнозирования временных рядов стала решающей во множестве реальных приложений. Будь то прогнозирование тенденций спроса или предвидение распространения эпидемий, способность делать точные прогнозы бесценна. Когда дело доходит до прогнозирования многомерных временных рядов, появляются две категории моделей: одномерные и многомерные. Одномерные модели фокусируются на межрядовых взаимодействиях, улавливая тенденции и сезонные паттерны в одномерных временных рядах. Однако недавние исследования показали, что продвинутые многомерные модели, несмотря на свои преимущества, часто уступают простым одномерным линейным моделям в долгосрочных прогнозных испытаниях. Это поднимает важные вопросы о эффективности кросс-вариативной информации и о том, могут ли многомерные модели все еще удерживать свои позиции, когда такая информация не столь полезна.

Ландшафт прогнозирования временных рядов за последние годы претерпел изменения с появлением архитектур на основе Трансформеров, благодаря их исключительной производительности в последовательных задачах. Однако их производительность в прогнозных испытаниях на долгосрочные периоды вызвала вопросы о их эффективности по сравнению с более простыми линейными моделями. В свете этого команда Google AI представляет новаторское решение: Time-Series Mixer (TSMixer). Разработанный после тщательного анализа преимуществ одномерных линейных моделей, TSMixer является значительным прорывом. Он использует преимущества линейных моделей, эффективно интегрируя кросс-вариативную информацию, что позволяет ему демонстрировать результаты на уровне лучших одномерных моделей в прогнозных испытаниях на долгосрочный период.

Один из ключевых отличий между линейными моделями и Трансформерами заключается в том, как они улавливают временные паттерны. Линейные модели используют постоянные, зависящие от временного шага веса для улавливания статических временных паттернов, что делает их исключительно эффективными в изучении таких паттернов. В отличие от этого, Трансформеры используют механизмы внимания с динамическими, зависящими от данных весами, для улавливания динамических временных паттернов и обработки кросс-вариативной информации. Архитектура TSMixer объединяет эти два подхода, обеспечивая сохранение возможностей временных линейных моделей при использовании силы кросс-вариативной информации.

• Джексон Джеветт хочет разрабатывать здания, которые используют меньше бетона.
• Знакомьтесь с YaRN вычислительно эффективным методом расширения контекстного окна языковых моделей на основе трансформеров, требующим в 10 раз меньше токенов и в 2,5 раза меньше шагов обучения, чем предыдущие методы.
• Тензорная квантование не рассказанная история

Метрики не лгут, и в случае TSMixer результаты говорят сами за себя. При оценке на семи популярных наборах данных для долгосрочного прогнозирования, включая Электричество, Трафик и Погоду, TSMixer продемонстрировал существенное улучшение в среднеквадратической ошибке (MSE) по сравнению с другими многомерными и одномерными моделями. Это показывает, что при проектировании с точностью и пониманием многомерные модели могут выполняться на уровне их одномерных аналогов.

В заключение, TSMixer представляет собой важный момент в области прогнозирования многомерных временных рядов. Сочетая в себе преимущества линейных моделей и архитектур на основе Трансформеров, он не только превосходит другие многомерные модели, но и стоит наравне с передовыми одномерными моделями. По мере развития области прогнозирования временных рядов, TSMixer открывает путь для более мощных и эффективных моделей, которые могут революционизировать приложения в различных областях.