Нежное введение в большие языковые модели

Волшебное знакомство с прекрасными языковыми моделями

Привет, рады видеть вас в этом Простом Введении в Большие Языковые Модели или LLM. Теперь, так как вы здесь, можно считать, что вы с трудом разбирались с этим трехбуквенным акронимом, который за последний год захватил все новостные ленты. Больше не стоит беспокоиться! Именно для этого предназначен этот блог-пост. Мы пройдем по фантастическому ландшафту больших языковых моделей и при этом обсудим некоторые основные концепции и как/почему они работают. Мы начнем с нейронных сетей, освежим память о глубоком обучении, поймем, что такое NLP, и в конце, после не очень пытательного процесса, узнаем о работе больших языковых моделей. Давайте начнем.

Что такое искусственный интеллект?

Простыми словами, интеллект означает способность мыслить, учиться, понимать и решать проблемы. Он позволяет людям и определенным животным осознавать окружающую среду, приспосабливаться к ситуациям и принимать решения на основе своего опыта и знаний.

Интеллект охватывает способности к рассуждению, способность учиться на ошибках и эффективно использовать информацию для преодоления трудностей.

По сути, это наши способности, которые позволяют нам навигировать вокруг населяющего мира и успешно взаимодействовать с ним. Теперь давайте углубимся в понятие интеллекта (ИИ).

• Google DeepMind представляет метод прямой настройки вознаграждения (DRaFT) эффективный искусственный интеллект для точной настройки моделей диффузии с максимизацией дифференцируемых функций вознаграждения
• Визуальное руководство по векторизованному BERTScore для оценки генерации текста
• Преодоление границ в трехмерной сегментации объектов подход на основе открытого мира с улучшенной псевдоиндексацией и реалистичными сценариями

ИИ можно рассматривать как помощника, который умеет обрабатывать огромные объемы информации и принимать разумные решения на основе этой информации. Представьте его себе как мозг, который может помочь вам в таких задачах, как предлагать фильмы или песни, которые вам могут понравиться, помогать врачам точно анализировать медицинские изображения или даже управлять автомобилями автономно без человеческого вмешательства.

То, что делает ИИ увлекательным, это его основа на алгоритмах (пошаговых инструкциях) и данных для своей работы. Подумайте о нем, как о компьютере, учащемся на своих ошибках. Прогрессивно улучшаясь в назначенных задачах путем практики. Это означает, что ИИ может быть объяснен и понят своим исследователям.

Что такое машинное обучение?

Теперь, когда мы понимаем, что такое ИИ, мы, естественно, задаемся вопросом, как машины на самом деле приобретают знания и понимание. Здесь на сцену выходит машинное обучение.

Представьте, что у вас есть компьютер. Вы хотите, чтобы он смог умно определить, показывает ли изображение кошку или собаку. Один из способов справиться с этим заключается в том, чтобы дать компьютеру инструкции искать такие признаки, как шерсть, уши, хвост и так далее. Однако этот подход может быть чрезвычайно сложным.

Машинное обучение идет другим путем. Это похоже на обучение компьютера через примеры. Вы показываете ему изображения кошек и собак, и постепенно он начинает понимать, что отличает кошку от собаки. Он учится распознавать шаблоны и сходства в изображениях.

В сущности, машинное обучение является составляющей обучения в ИИ. Где компьютеры учатся на основе данных для выполнения задач. Таким образом, ИИ охватывает более широкие возможности, такие как рассуждение, решение проблем и понимание языка. Все это может быть значительно улучшено с помощью машинного обучения.

Что такое модель машинного обучения?

После того, как мы понимаем концепции ИИ и МО, становится важно понять значение Языковых Моделей (LLMs). Чтобы понять LLMs, нам сначала нужно понять значение “модели”, которое составляет третью часть этого термина. Представьте это себе как разум или интеллект за машиной, который учится на основе данных примеров, правил и шаблонов. Например, он может учиться отличительным особенностям, таким как у кошек есть усы, а у собак – более длинные ноги. Используя эти усвоенные опытом или шаблоны, когда ему представляется изображение, он может принимать осознанные решения или делать прогнозы.

Чтобы углубиться в аналогию, визуализируйте Языковые Модели как модели с возможностью выполнять определенные операции с текстом. Эти модели обучаются на больших объемах текстовых данных из интернета и обладают способностью генерировать тексты, сравнимые с теми, которые создают люди — иногда даже превосходящими человеческое качество. Например, модели, подобные GPT 4, продемонстрировали свое мастерство в создании стихов, разумно отвечая на вопросы и даже генерированию компьютерного кода. Они действительно волшебники в области владения языком!

Что такое нейронные сети?

Для того чтобы модель могла генерировать предсказания, она должна понимать закономерности, наблюдаемые в данных. Существуют различные подходы к достижению этой цели, и один из них – использование нейронных сетей.

Нейронные сети играют важную роль в машинном обучении и искусственном интеллекте, позволяя решать сложные задачи, такие как распознавание изображений, понимание языка и делание предсказаний.

Они состоят из слоев, называемых нейронами, которые сотрудничают в обработке информации. Представьте свой мозг как сеть, состоящую из нейронов. Когда вы сталкиваетесь с изображением кошки, например, нейроны в вашем мозгу активируются, чтобы идентифицировать его на основе отличительных черт, таких как шерсть, уши и усы. Нейронные сети работают подобным образом, используя нейроны на разных слоях для распознавания закономерностей в данных. Однако они значительно проще, чем работа человеческого мозга.

Давайте погрузимся в мир нейронных сетей, используя аналогию с выпечкой торта. Представьте, что вы находитесь в миссии создать сеть, которая сможет точно предсказывать, вкусный будет торт или нет на основе его ингредиентов и процесса выпечки. Вот как различные концепции в сетях соотносятся с этой аналогией выпечки:

• Представьте свои ингредиенты и рецепт как входные данные, аналогичные сырью, которое вы собираетесь для вашей нейронной сети.
• Весь процесс выпечки символизирует структуру сети, состоящей из взаимосвязанных слоев, работающих вместе.
• Каждый шаг в процессе представляет собой функционирование нейрона с его функцией активации. Это подобно регулировке вашего рецепта на основе таких факторов, как температура и время смешивания.
• Точно так же, как изменение количества ингредиентов может влиять на вкус вашего торта, веса в сети определяют, насколько сильно связаны нейроны.
• В конечном итоге ваша цель – создать торт, похожий на то, как стремится нейронная сеть к точным предсказаниям или классификациям.
• Если ваш торт не соответствует ожиданиям, вы улучшаете свой рецепт. Это похоже на обратное распространение ошибки в нейронных сетях.

Что такое глубокое обучение?

В контексте аналогии с выпечкой, основное отличие между глубоким обучением и обычной нейронной сетью заключается в глубине сети, которая относится к количеству скрытых слоев. Давайте проясним эту разницу:

Обычная нейронная сеть, также известная как нейронная сеть, обычно состоит из одного или нескольких скрытых слоев, расположенных между входным и выходным слоями. В случае нейронной сети каждый скрытый слой можно рассматривать как представление различных этапов или аспектов процесса выпечки. Например, скрытый слой может учитывать такие факторы, как время смешивания, температура и количество ингредиентов. Комбинируя эти особенности, сеть способна делать предсказания о качестве торта.

Глубокие нейронные сети характеризуются наличием нескольких скрытых слоев, расположенных друг на друге. Эти глубокие нейронные сети улавливают сложные и абстрактные особенности с каждым дополнительным скрытым слоем. Например, в то время как первый скрытый слой может фокусироваться на таких особенностях, как время смешивания и температура, последующие слои могут изучать более сложные аспекты, такие как взаимодействие ингредиентов. Эта способность иерархического представления позволяет сети улавливать закономерности и взаимосвязи в данных.

Что такое языковые модели?

Представьте, что вы играете в словесную игру, где цель состоит в том, чтобы завершить предложение. Вы видите предложение, например, “Солнце светит и птицы поют”. Вам нужно угадать следующее слово.

Языковая модель, опираясь на свои знания о словах из предложений, сделала информированное предположение, такое как “яркий” или “красивый”, поскольку эти слова часто следуют за фразами о приятной погоде.

Тут не всё заканчивается. Языковые модели назначают вероятности каждому слову, которое может стать следующим. Например, она может назначить более высокую вероятность слову “яркий” и более низкую вероятность слову “слон”, потому что “слон” обычно не используется после обсуждения погоды. Таким образом, языковые модели делают все возможное для предсказания на основе этих вероятностей. Языковые модели можно рассматривать как словесных волшебников, которые полагаются на закономерности из прошлых случаев, чтобы определить наиболее вероятное следующее слово в предложении. Они не безупречны, но довольно опытны в помощи в таких задачах, как предоставление автозаполнения на телефоне или предсказание следующего слова при наборе сообщения.

Что такое энкодеры и декодеры?

Энкодеры внутри языковой модели можно сравнить с слушателями, внимательно слушающими ваши слова. Они анализируют предшествующие слова предложения, такие как “Солнце светит и птицы”, тщательно рассматривая их значения и взаимосвязь, чтобы установить контекстное понимание. Этот сводный контекст затем передается “декодерам”.

Декодеры служат предложителями слов. Они получают информацию от энкодеров, которая может указывать на то, что предложение относится к птицам, и генерируют список возможных следующих слов. Например, они могут предложить “пение” или “щебетание”, поскольку эти слова обычно связаны с птицами и приятной погодой. Каждое предложение от декодеров получает вероятность, где наиболее вероятное слово получает наивысшую вероятность.

В аналогии с игрой со словами, энкодеры улавливают контекст из слов, а декодеры используют этот контекст для осознанных догадок о следующем слове, учитывая вероятности, связанные с различными вариантами. Это похоже на разговор с партнером (энкодер), который внимательно слушает, и опытным советником (декодер), который предлагает оптимальные варианты слов на основе услышанного. Они работают вместе, чтобы помочь вам строить предложения, имеющие значение.

Что такое контекст в структуре энкодер-декодер?

В структуре с энкодером и декодером термин “контекст” относится к деталям входной последовательности (обычно серии слов или токенов), которые хранятся и используются декодером для создания выходной последовательности.

Роль энкодера – захватить и закодировать этот контекст из входных данных, тогда как задача декодера – использовать этот контекст для генерации выходных данных.

Вот объяснение того, как работает контекст в структуре энкодер-декодер:

Кодирование контекста (энкодер)

Энкодер получает входную последовательность и обрабатывает ее пошагово, обычно преобразуя каждый элемент (например, слова в предложении) в представление фиксированной длины.

Это представление, известное как вектор контекста, суммирует всю информацию из всей входной последовательности. Он улавливает связи и зависимости между элементами входных данных.

Использование контекста (декодер)

Декодер получает вектор контекста от энкодера в качестве своего состояния. Эта упрощенная информация содержит детали о том, что было во входных данных.

Используя этот контекст поэлементно, декодер генерирует каждую часть выходной последовательности. Он также может учитывать ранее сгенерированные элементы из этой же выходной последовательности.

Используя этот контекст, декодер может принимать обоснованные решения о том, что должно следовать дальше, чтобы создать вывод, который является связным и актуальным в данном контексте.

Генеративные модели

Термин “генеративные модели” относится к “замаскированным” языковым моделям. Теперь, что именно мы подразумеваем под “замаскированными” языковыми моделями?

Замаскированные языковые модели (MLM) обладают удивительной способностью играть в игру угадывания слов. Позвольте мне объяснить, как они работают на примерах.

Представьте, что у вас есть предложение с пропущенным словом, например, “Солнце [MASK] преследует мяч.” Задача – выяснить подходящее слово для заполнения пробела. Замаскированные языковые модели являются экспертами в решении таких словесных головоломок.

То, что делает их особенными, – они не полагаются на догадки. Вместо этого они внимательно анализируют все слова, предшествующие и следующие за пробелом в предложении.

Эти модели прошли обучение на основе обширного интернет-текста. Они наблюдали, как слова объединяются в предложения. В результате у них есть способность предсказывать, какие слова подходят для завершения предложений на основе того, что они узнали.

Мы используем различные модели масок, такие как BERT и GPT, обе из которых являются генеративными моделями, известными своей внушительной эффективностью в предсказании следующего слова в предложении. GPT означает Generative Pre-trained Transformer. Ранее мы уже обсудили генеративные и предварительно обученные аспекты; теперь давайте погрузимся в то, что означает “Transformer”.

Что такое Transformer?

Transformer – это тип модели глубокого обучения, представленный Васвани и др. в их статье 2017 года “Attention Is All You Need”. Они особенно эффективны в обработке последовательных данных, таких как текст, благодаря своей способности эффективно улавливать дальние зависимости.

Структура трансформера основана на двух компонентах: кодере и декодере. Оба этих компонента имеют слои.

• Кодер: Кодер принимает входную последовательность, такую как предложение. Он обрабатывает ее токен за токеном. Каждый токен изначально преобразуется в вектор в пространстве размерности. Затем на каждом слое кодера включаются механизмы самозаметок, позволяющие модели понять важность каждого токена относительно всех остальных токенов во входной последовательности. Объединяя эти взвешенные представления, модель эффективно улавливает информацию. Кроме того, в каждом слое кодера используются нейронные сети прямого распространения для уточнения этих представлений.
• Декодер: Подобно кодеру, декодер также состоит из слоев, но включает дополнительный механизм самозаметок, который фокусируется на выходе из кодера. Во время декодирования эта модель генерирует последовательность вывода пошагово. На каждом шаге она использует самозаметку, чтобы учитывать ранее созданные токены и обращать внимание на вывод из кодера, который включает информацию из входной последовательности. Это двунаправленное внимание позволяет декодеру создавать токены на основе контекста.

Самозаметка

Самозаметка играет важную роль в моделях трансформера, делая их невероятно мощными в понимании связей между словами в последовательности.

Она позволяет модели понимать отношения между словами или элементами в текстовой последовательности, позволяя ей присваивать значение каждому слову на основе его важности для каждого другого слова в последовательности. Этот процесс генерирует представления, которые являются особенно значимыми.

Значимость самозаметки в моделях трансформера можно объяснить ключевыми факторами:

1. Понимание контекста: Самозаметка дает трансформерам возможность уловить контекст и понять, как слова связаны друг с другом в последовательности. Вместо того, чтобы учитывать только соседние слова, самозаметка учитывает всю последовательность, что существенно для понимания контекста естественного языка.
2. Изучение дальних зависимостей: Самозаметка помогает трансформерам освоить зависимости, которые простираются на большое расстояние в данных. Эта способность имеет важное значение для таких задач, как перевод языка или генерация текста, где значимые фразы или слова могут находиться друг от друга в предложении.

Я предлагаю вам ознакомиться с этим блогом, написанным @JayAlammar. Он дает представление о трансформерах и самозаметке, которые являются крайне универсальными и применимыми в различных задачах обработки естественного языка.

Что происходит с ChatGPT?

ChatGPT объединяет концепции из мира трансформеров, моделей с масками, кодеров-декодеров и других. То, что делает ChatGPT мощным, – это сочетание архитектуры на основе трансформеров, обширной предварительной тренировки на больших наборах данных, настройки для конкретных задач и его способности генерировать логичные, контекстно-осознанные и адаптивные ответы.

Вот несколько причин, почему ChatGPT настолько эффективен:

• Архитектура трансформера: ChatGPT построен на архитектуре трансформера, которая превосходно справляется с обработкой данных и особенно подходит для понимания и генерации человеческого языка.
• Обширная предварительная тренировка: Перед использованием для задач, таких как взаимодействие с чатботом, ChatGPT проходит обучение на огромном объеме текстовых данных, полученных из интернета. Этот этап предварительной тренировки оснащает модель пониманием правил грамматики языка и общими знаниями.
• Двунаправленная самозаметка: ChatGPT использует механизмы самозаметки, которые позволяют токенам (словам или частям слов) учитывать как предыдущие, так и последующие слова в предложении. Это двунаправленное понимание помогает модели улавливать контекст и зависимости между словами для более контекстно осознанного поведения.
• Настройка: После начальной предварительной тренировки ChatGPT проходит настройку, где он улучшает свои способности для определенных задач, таких как взаимодействие с чатботом.

Дополнительно, есть другая техника, называемая Обучение с Подкреплением от Человеческой Обратной Связи (RLHF), которая вносит свой вклад в уникальность ChatGPT.

Обучение с Подкреплением от Человеческой Обратной Связи (RLHF)

Обучение с Подкреплением от Человеческой Обратной Связи (RLHF) – это техника, используемая для улучшения производительности ChatGPT путем комбинирования данных, созданных людьми, и обучения с подкреплением. Вот краткий обзор того, как работает RLHF для ChatGPT:

Как уже упоминалось ранее, ChatGPT проходит предварительное обучение, в ходе которого он учится на основе огромного объема текстовых данных.

Затем ChatGPT проходит процесс настройки. Во время этой фазы тренеры искусственного интеллекта взаимодействуют с моделью в разговорах, предоставляя ответы на основе руководств. Эти тренеры имитируют взаимодействие с пользователем. Результирующий набор диалогов, вместе с данными сравнения, где тренеры ранжируют ответы модели, служит системой награды.

Затем модель обучается максимизировать свои награды на основе этой системы наград (известной как обучение с подкреплением). Она по существу учится генерировать ответы, которые более вероятно соответствуют предпочтениям людей и подходят к контексту.

С помощью раундов точной настройки и обучения с подкреплением модель постепенно улучшает свою производительность со временем. Каждая итерация помогает ей генерировать точные и удобочитаемые ответы.

Заключение

В этом посте мы углубились в область искусственного интеллекта, сфокусировавшись на машинном обучении и его продвинутом подразделе, глубоком обучении. Мы сфокусировались на языковых моделях, которые служат предиктивными алгоритмами для определения следующих слов в предложениях на основе контекстуальных подсказок. Мы рассмотрели трансформеры и внимание на себя, также затронули RLHF.

Надеюсь, я смог предоставить вам понятное руководство, которое поможет вам ориентироваться в мире ЯММ.