Новое исследование машинного обучения от MIT показывает, как крупные модели языка (LLM) понимают и представляют концепции пространства и времени.

Уникальное исследование машинного обучения от MIT раскрывает способности крупных моделей языка в понимании и отображении концепций пространства и времени.

Большие языковые модели (LLM) недавно продемонстрировали невероятные навыки. Хорошо известный ChatGPT, построенный на трансформерной архитектуре GPT, стал популярным благодаря своим способностям имитировать человека. От ответов на вопросы и резюмирования текста до генерации контента и перевода языка, у них есть множество применений. Но что на самом деле они узнали в процессе обучения?

По одной теории, LLM отлично находят и прогнозируют паттерны и корреляции в данных, но не очень хорошо понимают основные механизмы, производящие данные. Они похожи на компетентные статистические двигатели в принципе, хотя у них может не быть понимания. Другая теория говорит о том, что LLM учитывают корреляции и строят более сжатые, логичные и понятные модели генеративных процессов, лежащих в основе тренировочных данных.

Недавно два исследователя из Массачусетского технологического института изучили Большие языковые модели, чтобы лучше понять, как они учатся. Исследование особенно исследует, строят ли эти модели когерентную модель генерации данных, часто называемую “модель мира”, или просто запоминают статистические паттерны.

Исследователи использовали тестирование семейства моделей Llama-2 и создали шесть наборов данных, охватывающих разные пространственно-временные шкалы, включая имена мест, событий и связанные с ними пространственные или временные координаты. Места в этих базах данных охватывают весь мир, включая Нью-Йорк, США, даты первых релизов произведений искусства и размещения новостных заголовков. Используя линейные регрессионные зонды на внутренних активациях слоев LLM, они исследовали, строят ли LLM представления пространства и времени. Эти зонды прогнозируют точное местоположение или время в реальном мире, соответствующее каждому имени из набора данных.

Исследование показало, что LLM строят линейные представления пространства и времени на разных шкалах. Это означает, что модели учатся о пространственных и временных аспектах систематическим и организованным образом. Они понимают отношения и паттерны в пространстве и времени методично, а не только запоминают отдельные данные. Также было обнаружено, что представления LLM устойчивы к изменениям инструкций или запросов. Даже если способ предоставления информации различается, модели всегда демонстрируют хорошее понимание и представление пространственной и временной информации.

Согласно исследованию, представления не ограничиваются ни одним классом объектов. Города, памятники, исторические личности, произведения искусства или новостные заголовки равномерно представлены LLM как в пространстве, так и во времени, что можно считать признаком всестороннего понимания моделей. Исследователи даже обнаружили отдельные нейроны LLM, которые они называют “нейронами пространства” и “нейронами времени”. Эти нейроны точно выражают пространственные и временные координаты, демонстрируя наличие специализированных компонентов в моделях, которые обрабатывают и представляют пространственную и временную информацию.

В заключение, результаты исследования подтверждают, что современные LLM превосходят поверхностное запоминание статистики и вместо этого учатся структурированной и значимой информации о важных измерениях, таких как пространство и время. Можно уверенно сказать, что LLM – это не просто статистические двигатели, а способные представлять скрытую структуру процессов генерации данных, на которых они обучаются.