Реквием для Трансформера?

Распрощайтесь с Трансформером?

|ВЗГЛЯДЫ| ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ| БОЛЬШИЕ ЯЗЫКОВЫЕ МОДЕЛИ|

Будет ли трансформер моделью, ведущей нас к искусственному общему интеллекту? Или его заменят?

Фото Стефани Андраде на Unsplash

Трансформер уже шесть лет доминирует в мире искусственного интеллекта, достигая передовых результатов во всех подобластях искусственного интеллекта. От обработки естественного языка (NLP) до компьютерного зрения, звука и графов, существуют специализированные трансформеры с отличной производительностью.

  • Еще сколько времени продержится это направление?
  • Действительно ли трансформер лучшая архитектура на рынке?
  • Будет ли он заменен в ближайшем будущем?
  • Какие угрозы существуют для его господства?

В этой статье мы постараемся ответить на эти вопросы. Начиная с того, почему трансформер был настолько успешным и какие элементы позволили ему установить себя во множестве разных областей, мы проанализируем, обладает ли он все еще непреодолимым господством, какие элементы угрожают его превосходству и есть ли потенциальные конкуренты.

Краткая история империи

Фото Маркуса Списке на Unsplash

“Все империи становятся высокомерными. Это их природа.” ― Эдвард Резерфурд

Империи неизбежно падают, и, когда такое происходит, история судит их по наследию, которое они оставляют. — Ноа Фелдман

“ВНИМАНИЕ – Всё, что вам нужно” лежит в основе искусственного интеллекта, какой он есть сегодня. Корни генеративного искусственного интеллекта и его успеха заключены в одном зерне: трансформере.

Вначале трансформер был разработан для решения проблемы невозможности параллелизации RNN и для моделирования долгосрочных связей между словами в последовательности. Идея заключалась в предоставлении модели системы, способной различать, какие части последовательности наиболее важны (куда обратить внимание). Всё это было разработано для улучшения машинного перевода.