«2023 год стал годом больших языковых моделей тогда и сейчас»

«2023 год большие модели языка в тогда и сейчас»

Год 2023 стал свидетелем небывалого взлета развития больших моделей языка, новые модели появляются с захватывающей скоростью. Давайте рассмотрим эти достижения, кто их продвигает и что ждет нас в этом году.

В начале года Google AI вышло на первый план с релизом массовой LLM, PaLM 2, с 540 млрд. параметрами. PaLM 2 проявил необычайные способности в различных задачах NLP, включая генерацию текста, перевод языка и ответы на вопросы.

В непосредственной близости последовало высочайшее LLaMa от Meta AI, фундаментальное LLM с различными размерами параметров (7B, 13B, 33B и 65B). Многофункциональность и открытая природа LLaMa сделали его ценным инструментом как для исследователей, так и для разработчиков.

Затем в новой работе представили Megatron-Turing NLG, LLM с 530 млрд. параметрами, особо разработанный для задач генерации естественного языка. Megatron-Turing NLG продемонстрировал исключительную способность создавать высококачественный, фактически точный и креативный текст. Он достигает превосходной точности обучения с нулевым, одноразовым и небольшим количеством данных на нескольких бенчмарках NLP. 

В марте 2023 года состоялся дебют Bloom, открытой мультиязычной LLM, оптимизированной для генерации текста и изучения языка. В разработке Блума принимала участие команда HuggingFace’s BigScience, команда Microsoft DeepSpeed, команда NVIDIA Megatron-LM, команда IDRIS/GENCI, команда PyTorch, а также добровольцы BigScience Engineering. Модель способна генерировать текст на 13 языках программирования и 46 естественных языках, акцентируя растущее внимание к многоязыковым возможностям в разработке LLM.

OpenAI выпустило модель GPT-4 в это время. После успешного релиза ChatGPT в прошлом ноябре, GPT-4 имел большое количество фанатов, ожидающих его выпуска. Модель обладает расширенным контекстным окном, мультимодальной обработкой, улучшенной креативностью и быстрой обучаемостью и исполнением. Все это делает GPT-4 более универсальным и практичным для широкого спектра приложений.

СОБЫТИЕ – ODSC East 2024

Личное и виртуальное мероприятие

С 23 по 25 апреля 2024 года

Присоединяйтесь к нам для погружения в последние тенденции, инструменты и техники data science и искусственного интеллекта, от LLM до аналитики данных и от машинного обучения до ответственного ИИ.

 

Во второй половине года возникло Claude, генеративная модель искусственного интеллекта на базе LLM, разработанная Anthropic. Широкий спектр возможностей Claude, включая генерацию текста, перевод языка, ответы на вопросы и создание креативного контента, укрепил его позицию в качестве мощного инструмента для различных приложений искусственного интеллекта.

В середине лета Google, наконец, представил свой ответ ChatGPT от OpenAI, Bard. Bard это LLM с 137 млрд. параметрами, способный генерировать различные форматы креативного текста, включая стихи, код, сценарии, музыкальные произведения, электронные письма и письма. Возможность Bard информативно отвечать на вопросы даже в открытых, сложных или странных ситуациях демонстрирует возрастающую сложность моделей LLM.

Наконец, в начале ноября был выпущен ChatGPT 4.5 Turbo. В новой версии ChatGPT использованы данные, начиная с апреля 2023 года, и она надеется установить новые рекорды в нескольких областях. GPT-4 Turbo будет поддерживать до 128 000 токенов контекста, позволяя пользователям создавать крайне длинные и подробные запросы. Как мы видели в прошлом марте, когда пользователям разрешается использовать больший размер промптов, то, что генерируется, обычно бывает потрясающим.

Пользовательский интерфейс станет более интеллектуальным и поможет пользователям выбирать правильный инструмент для выполнения задачи, которую они имеют в виду. Так что вместо привычного выпадающего меню, где пользователю приходилось выбирать инструменты, которые они хотели использовать, ИИ теперь будет выбирать инструменты на основе вашего ввода.

В конце 2022 года и в 2023 году наблюдается огромный всплеск инноваций в мире больших языковых моделей. Крупные технологические компании и стартапы видят намеки на будущее, которое будет определяться генеративным ИИ. Это считается [рынком](https://www.rupython.com/global-ai-market-to-experience-31-growth.html), предполагается, что технологии будут эксплодировать в ближайшие годы. Совмещая это с ожидаемым [экономическим влиянием](https://www.rupython.com/ai-aids-california-in-battling-wildfires.html), БЯМ будут играть ключевую роль в ближайшие годы.

Будущее БЯМ еще предстоит написать. Хотя многие организации, упомянутые выше, развиваются в этой области, всё равно есть место для новаторских проектов. Вы и ваша команда можете стать следующими, кто создаст революционную крупномасштабную языковую модель отрасли! [Посетив ODSC East 2024 с 23 по 25 апреля](https://www.rupython.com/gain-the-edge-with-inperson-training-at-odsc-west.html) и, в частности, изучив [трек, посвященный NLP и БЯМ](https://www.rupython.com/apple-airtags-track-lost-suitcases-but-are-slow-to-alert-for-stalking.html), вы узнаете все, что вам нужно, чтобы использовать существующие БЯМ или создать следующую крупную вещь. Зарегистрируйтесь сейчас, пока билеты еще дешевые!