TiDE простая MLP, которая смущает Transformers

TiDE простая MLP, которая сбивает с толку Transformers

Глубокое изучение TiDE, его реализация с использованием Darts и сравнение с использованием реального примера DeepAR (архитектура Трансформатора)

По мере развития отраслей прогнозирование становится неотъемлемым инструментом, независимо от того, работаете вы в электронной коммерции, здравоохранении, розничной торговле или даже в сельском хозяйстве. Важность способности предвидеть, что произойдет дальше и планировать соответственно, чтобы преодолеть будущие вызовы, заключается в том, что это поможет вам опережать конкурентов и процветать в экономике, где маржа тесная, а требования клиентов – более высокие, чем когда-либо.

Архитектуры Трансформаторов стали горячей темой в области искусственного интеллекта за последние несколько лет, особенно благодаря успеху в обработке естественного языка (Natural Language Processing, NLP), при этом чатбот GPT привлек внимание всех, и независимо от того, являетесь вы энтузиастом в области искусственного интеллекта или нет. Но NLP – это не единственный предмет, в котором Трансформаторы превосходят существующие решения. Они также демонстрируют превосходство в компьютерном зрении, например, в алгоритме стабилизации диффузии и его вариантах.

Но смогут ли Трансформаторы превзойти существующие модели в задачах прогнозирования временных рядов? Несмотря на многочисленные попытки разработать Трансформаторы для прогнозирования временных рядов, кажется, что для долгосрочных горизонтов наилучший результат показывают простые линейные модели в сравнении со многими подходами, основанными на Трансформаторах.

В этой статье я исследую TiDE, простую модель глубокого обучения, способную превзойти архитектуры Трансформаторов в долгосрочном прогнозировании. Я также предоставлю пошаговую реализацию TiDE для прогнозирования еженедельных продаж в наборе данных от Walmart с использованием Darts – библиотеки для прогнозирования на языке Python. И, наконец, я сравню производительность TiDE и DeepAR на реальном примере из моей компании.

• Еженедельный обзор ODSC по искусственному интеллекту Неделя с 8 декабря
• Фотомозаики с ближайшими соседями машинное обучение для цифрового искусства
• 5 Супер шпаргалок для овладения наукой о данных

Как всегда, код доступен на страничке Github.

Time-series Dense Encoder Model (TiDE)

TiDE – это новая модель кодирования и декодирования временных рядов, которая, как показали исследования, превосходит существующие модели Трансформаторов в долгосрочном прогнозировании [1]. Это многомерная модель временных рядов, способная использовать статические коэффициенты (например, марку товара) и динамические коэффициенты (например, цену товара), которые могут быть…