Продвижение искусственного интеллекта инновационная система памяти университета Сунгкюнкван под названием «Мемория» повышает производительность трансформатора при выполнении сложных задач с длинными последовательностями.

Мемория инновационная система памяти университета Сунгкюнкван, повышающая производительность трансформатора при выполнении сложных задач с длинными последовательностями

В последние годы машинное обучение сталкивается с одной общей проблемой: ограниченной памятью трансформеров. Эти модели, известные своей способностью разгадывать закономерности в последовательных данных, превосходны во многих приложениях, но должны улучшать свои навыки при работе с длинными последовательностями данных. Стандартный подход к увеличению размера входных данных нуждается в пересмотре, чтобы воспроизводить селективную и эффективную обработку данных, которая характерна для когнитивных способностей человека, вдохновленную известной нейропсихологической теорией.

В этих условиях появилось потенциальное решение, основанное на принципах человеческой памяти. Эта новая система памяти показывает большие перспективы в улучшении работы моделей на основе трансформера. Она работает путем сохранения и извлечения информации, называемой “энграммой”, на нескольких уровнях памяти: рабочая память, краткосрочная память и долгосрочная память, с изменением весов связей в соответствии с правилом Хэбба, отражающим, как формируются ассоциации человеческой памяти.

Первые эксперименты с использованием этой системы памяти действительно обнадеживают. При интеграции с существующими моделями на основе трансформера этот инновационный подход значительно увеличивает их способность учитывать долгосрочные зависимости в различных задачах. В частности, он превосходит традиционные методы сортировки и моделирования языка, предлагая эффективное решение, которое преодолевает ограничения краткосрочной памяти, с которыми сталкиваются традиционные трансформеры.

• Sсhneider Electric применяет Retrieval Augmented LLMs на SageMaker, чтобы обеспечить обновления в режиме реального времени в их системах управления предприятием (ERP).
• Top важные статьи по компьютерному зрению на неделю с 23/10 по 29/10
• Верхом на лучах Sunswift Racing сияет на гонке World Solar Challenge

Эта новая архитектура памяти, неопирающаяся на конкретных лиц или организации, имеет потенциал революционизировать машинное обучение. По мере углубления исследований ее возможностей, она может вскоре найти применение в сложных задачах, дополнительно усиливая производительность моделей на основе трансформера. Развитие представляет собой значительный прогресс в актуальной задаче дать трансформерам возможность справляться с длинными последовательностями данных, что обещает заметные достижения в искусственном интеллекте и обработке естественного языка.

В заключение, ограничения моделей трансформера в обработке длинных последовательностей данных давно являлись вызовом в сообществе машинного обучения. Однако появилось обнадеживающее решение, вдохновленное принципами человеческой памяти, открывающее новую эру возможностей. Эта инновационная архитектура памяти, работающая независимо от конкретных имён или институтов, имеет потенциал переформировать область машинного обучения, предлагая улучшенную производительность и способность справляться с сложными задачами, которые ранее считались недостижимыми. По мере того как исследователи продолжают изучать этот новый подход, будущее дает интересные перспективы для искусственного интеллекта и обработки естественного языка.