Увеличение длины контекста в больших языковых моделях

Увеличение длины контекста в больших моделях языка

Как превратить вашей Ламу в Жирафа

Длина контекста относится к максимальному количеству токенов, которое модель может запомнить при генерации текста. Более длинное окно контекста позволяет модели лучше понимать долгосрочные зависимости в тексте. Модели с более длинными контекстами могут устанавливать связи между идеями, находящимися далеко друг от друга в тексте, что приводит к более глобальным и связным результатам.

При обучении модель обрабатывает текстовые данные по частям или в фиксированной длине окон. Модели должны быть обучены на обширных текстах, чтобы действительно использовать длинные контексты. Обучающие последовательности должны содержать документы, книги, статьи и т. д. с тысячами токенов. Длина обучающих данных ограничивает используемую длину контекста.

Так почему бы не обучать модели более длинным последовательностям?

Не спешите.

• Фондант ИИ выпускает набор данных Fondant-25M изображений и текстовых пар с лицензией Creative Commons.
• Google AI представляет SANPO многокритериальный видео набор данных для понимания сцен на открытом воздухе с точки зрения человека
• Производительность Apple M1 и M2 для обучения моделей SSL

Увеличение длины контекста увеличивает количество возможных комбинаций токенов, которые модель должна научиться предсказывать точно. Это позволяет более надежное моделирование долгосрочных зависимостей, но также требует больше памяти и вычислительной мощности, что приводит к более высоким затратам на обучение.

Без какой-либо оптимизации, вычисления масштабируются квадратично с увеличением длины контекста — это означает, что модель с 4096 токенами потребует в 64 раз больше вычислений, чем модель с 512 токенами.

Вы можете использовать методы разреженного или приближенного внимания, чтобы снизить вычислительные затраты, но они также могут повлиять на точность модели.

Обучение и использование языковых моделей с большим контекстом представляет три основные проблемы:

• Заполнение длинного контекста в модели.
• Ускорение вывода и обучения, чтобы они не занимали вечность.
• Обеспечение высококачественного вывода, который сохраняет осознание полного контекста.

Внимание – это сложная операция

Механизм внимания является основным компонентом моделей трансформера. Он связывает разные позиции последовательности для вычисления ее представления, что позволяет моделям фокусироваться на соответствующих частях текста и лучше его понимать. Масштабирование трансформеров на более длинные последовательности сталкивается с проблемами из-за квадратичной сложности полного внимания.