Введение в глубокое обучение для последовательных данных

Знакомство с глубоким обучением для последовательных данных

Выделение сходств между временными рядами и обработкой естественного языка

Как я представляю себе загрузку набора данных временных рядов. Изображение от автора. (С помощью ИИ)

Последовательные данные, такие как временные ряды и естественный язык, требуют моделей, способных улавливать порядок и контекст. В то время как анализ временных рядов сосредотачивается на прогнозировании на основе временных шаблонов, задача обработки естественного языка заключается в извлечении семантического значения из последовательностей слов.

Хотя это отдельные задачи, оба типа данных имеют зависимости дальнего действия, где удаленные элементы влияют на прогнозы. С развитием глубокого обучения архитектуры моделей, изначально разработанные для одной области, были адаптированы к другой.

Последовательные данные

Временные ряды и естественный язык имеют последовательную структуру, где положение наблюдения в последовательности имеет большое значение.

Временной ряд представляет собой последовательность значений. (слева) Текст - последовательность слов. (справа) Изображение от автора.

Временной ряд – это набор наблюдений в течение времени, упорядоченных по хронологии и отсэмплированных с фиксированными временными интервалами. Вот некоторые примеры:

  • Цена акций каждый день
  • Метрики сервера каждый час
  • Измерения температуры каждую секунду

Главное свойство временных рядов данных заключается в том, что порядок наблюдений имеет смысл. Значения, близкие по времени, обычно сильно зависят друг от друга – знание последних значений даёт понимание для прогнозирования следующего значения. Анализ временных рядов направлен на моделирование этих временных зависимостей для понимания паттернов и создания прогнозов.

Текстовые данные также являются последовательными – порядок слов передает смысл и контекст. Например:

  • Джон бросил мяч
  • Мяч бросил Джона

Хотя оба предложения содержат одни и те же слова, их значение полностью меняется в зависимости от порядка слов. Эти временные отношения представлены в языковых моделях и являются основой для задач обработки естественного языка, таких как перевод и суммирование.

И временные ряды, и текст проявляют дальнодействующие зависимости – значения, находящиеся далеко друг от друга в последовательности, всё равно влияют друг на друга. Кроме того, местные паттерны повторяются на разных позициях.