«Универсальная карта быстрой разработки фреймворк контекстуальных строительных лесов (CSF)»

«Многофункциональная карта для быстрой разработки фреймворка контекстуальных строительных лесов (CSF)»

Универсальная умственная модель для эффективного создания подсказок.

Изображение автора и создано с помощью DALL·E 3

Введение

В своих недавних статьях я исследовал новый подход к созданию подсказок для ChatGPT4, который я назвал программной симуляцией. Этот метод продемонстрировал впечатляющую способность ChatGPT4 последовательно эмулировать состояние программы. Эти исследования подняли мое понимание о тонкой силе языка – весе слов, семантике и общем контексте. В этой статье я исследую некоторые из этих нюансов и предлагаю универсальную модель для создания подсказок, которую я назвал “Концептуальная модель опорных точек”. Как мы увидим, эта модель обобщает эффективно и кажется способной объединять такие техники, как “Цепочка мысли” (Chain of Thought), Лесть/назначение ролей, Программная симуляция и другие под общим зонтом. Кроме того, она предлагает простую модель для эффективного формирования подсказок во множестве сценариев.

В мир прагматики

Мои усилия по более тщательному изучению нюансов языка начались с прагматики, раздела лингвистики, который изучает, как контекст формирует интерпретацию значения. Два концепта особенно выделяются:

  1. Внутриречевое включение: когда оратор подразумевает что-то, не явно указывая на это, ожидая, что слушатель извлечет предполагаемое значение.
  2. Предположение: допущения или информация, которую участники диалога считают общей для оратора и слушателя.

Основная идея этих концепций заключается в том, что значение слов расширяется далеко за свои буквальные определения. Рассмотрим термин “собака”. Помимо его основного определения, он несет в себе множество неявной информации. Мы не явно утверждаем, что собаки существуют во времени, движутся в пространстве, едят, слышат, лают и т. д. Ожидается, что слушатели разделяют эти знания и извлекают соответствующее значение в зависимости от контекста. Каждое языковое выражение, будь то слово или роман, излучает “смысловую ауру” – смесь неявных определений, внутриречевых включений, эмоционального окраса и коннотаций. Эти «смысловые ауры» могут также различаться по насыщенности, сложности, ясности и зависеть от ситуации.

Большие языковые модели (LLM) и “смысловые ауры”

Большие языковые модели частично систематизируют создание “смысловых аур” в диалоге с людьми. Но в основе этих моделей лежит просто предсказание слов за словом. Возможно ли, что они неявно моделируют взаимодействие «смысловых аур»? Как мы можем это измерить? Хотя для ответа на эти вопросы потребуется глубокое исследование, наше краткое знакомство с прагматикой обладает некоторой немедленной практической применимостью и может служить важным строительным блоком для универсальной модели создания подсказок.

Контекстуальная модель опорных точек (CSF)

Как многие уже указывали ранее, эффективное создание подсказок для моделей, таких как ChatGPT-4, зависит от контекста. Но мы также должны учесть, какие ожидания у нас относительно выходных данных модели и как модель должна “работать”, чтобы соответствовать этим ожиданиям. С учетом концепции “смысловых аур” рассмотрим подход, при котором контекст подсказки разбивается на категории. Давайте назовем эти категории “опорными точками” и укажем две широко применимые категории.

Контекст ожиданий – Включает аспирации, намерения, цели пользователя и конкретику ситуации. Если личный контекст пользователя имеет значение, его также следует учитывать.

Операционный контекст – Определяет операционные параметры ИИ. Он определяет роль модели, используемые техники, необходимые внешние данные и степень ее автономии и дискреции.

Вот простое визуальное представление модели:

Изображение автора

Теперь давайте посмотрим на этот подход в действии с предложением для ChatGPT-4. Мы сосредоточимся на выборе языка для наших опорных конструкций, которые имеют семантически богатые “смысловые ауры” и вероятно произведут нужный нам результат.

Опорная определенность контекста

“Мой контекст ожидания — ваша цель помочь мне написать историю о искусственно интеллектуальных мишках. Целевая аудитория моей истории – это взрослые. В итоге я поделюсь этой историей на своем блоге, который в данный момент не имеет подписчиков.

Ваш операционный контекст — в попытке максимизировать выполнение моего ожидаемого контекста, вы будете вести себя дальше в диалоге, как программа самосборки. Вы должны принимать во внимание все аспекты моего ожидаемого контекста. У вас есть автономия и свобода в том, как программа функционирует и ведет себя, но всегда должен быть под рукой постоянно доступное меню верхнего уровня. Пожалуйста, не создавайте никакого программного кода и симулируйте программу непосредственно в выходном тексте. После получения этого приглашения, пожалуйста, продолжайте с симуляцией.”

Вы все получите немного другое, но в большинстве случаев оно должно выглядеть примерно так:

Как видите из вывода, ChatGPT-4 запустил симуляцию программы, которая в основном соответствует моему “Ожидаемому контексту”. Я значительно повлиял на это, определив язык в обеих опорных конструкциях, испускающих контекстно богатые “смысловые ауры”.

На данный момент мы определили простую универсальную рамку для создания предложений. Техники, такие как Подхалимство/Назначение роли, Несколько примеров и CoT, в основном относятся к опорным конструкциям “Операционного контекста”. Хотя я не смог идентифицировать техники, основанные исключительно на “Ожидаемом контексте”, большинство предложений, направленных на достижение цели, обычно подходят в эту опорную конструкцию. Так что, в какой-то степени, мы все неявно используем эту технику по умолчанию.

Но это всё? Завершим статью здесь или есть ещё какие-то выводы? Посмотрим, можем ли мы разобрать это глубже…

Оптимизация опорных конструкций для инженерии предложений

Вовлекаясь с выбранным LLM, нашей конечной надеждой является то, что модель выдаст результат, который соответствует или превосходит наши ожидания. Если мы посмотрим на наши опорные конструкции с точки зрения оптимизации, мы можем представить себе рамку, где целью является точное определение одного или нескольких “Операционных контекстов”, которые лучше всего соответствуют “Ожидаемому контексту”. Для тех, кто не любит математическую терминологию, просто прошу подержаться.

Мы можем представить такую функцию следующим образом:

O = LLM(EC)

где:

O – множество оптимальных операционных контекстов (OCₙ),

LLM – функция, воплощенная в Large Language Model.

Каждый элемент множества O, скажем, OCᵢ, представляет разный оптимальный операционный контекст для данного Ожидаемого контекста:

O={OC₁,OC₂​,…,OCₙ​}

Поскольку наши Операционный контекст и Ожидаемый контекст являются многомерными, мы, вероятно, должны моделировать их более детальным образом как вектора атрибутов:

EC={e₁​,e₂,…,eₙ​}

OC={o₁​,o₂​,…,oₙ​}

Наконец, целевая функция может быть выражена как максимизация функции полезности U по всем возможным OC в множестве O для данного EC:

Эти математические абстракции пытаются систематизировать преобразование Ожидаемого контекста в Операционный контекст, признавая высокую вероятность наличия нескольких оптимальных Операционных контекстов для данного Ожидаемого контекста. Мы рассмотрим возможность настройки моделей с использованием такого типа рамок в будущем, но пока давайте рассмотрим практические последствия этих идей.

Предположим, у вас есть хороший понимание того, как сформулировать свою Ожидаемую опорную конструкцию, но вы не уверены, какие элементы включить в свою Операционную опорную конструкцию. Может ли помочь ChatGPT-4?

Сформируем соответствующее предложение и посмотрим, что мы получим в ответ.

Открытый Операционный контекст для предложения

“Мой Ожидаемый контекст — ваша цель помочь мне написать историю о искусственно интеллектуальных мишках. Целевая аудитория моей истории – это взрослые. В итоге я поделюсь этой историей на своем блоге, который в данный момент не имеет подписчиков.

Ваш оперативный контекст — в попытке максимизировать выполнение моего контекста ожиданий, пожалуйста, предложите не менее одного, но не более пяти операционных контекстов, которые вы можете использовать. Вы можете предложить поведение в качестве человека, команды, типа организации, программы или системы с одной или несколькими конкретными компетенциями. Вы можете предложить включение внешних данных или запросить обучающие примеры. Вы также можете предложить использование конкретных техник или подходов. Вы можете предложить любую комбинацию вышеуказанных элементов. Операционные контексты должны быть упорядочены по убыванию оптимальности. Для каждого из них, пожалуйста, предоставьте обоснование, приводящее к их конкретному ранжированию.

Верный своему образцу, ChatGPT4 предоставляет нам 5 операционных контекстов. 2 из них являются организационными сущностями, 1 — системой, а 2 — индивидуальными лицами. Операционные контексты были упорядочены, и для каждого было предоставлено обоснование ранжирования. Подумайте о “ауре значения” таких понятий, как “Литературный центр мысли” или “Институт исследования истории и научной фантастики”. Я думаю, вы согласитесь, что они богаты контекстом и полным смыслом. Таким подходом мы можем вооружиться множеством операционных контекстов, которые мы могли бы не сами предположить. Это также позволяет легче создавать эффективные запросы, сужая нашу отправную точку для сосредоточения на формулировке “Каркаса контекста ожиданий”.

Заключение

Погружаясь в детали прагматики и концепции “ауры значения”, очевидно, что контекст в своей многоаспектной форме является ключом к оптимизации наших взаимодействий с LLMs. Каркасы контекста (CSF) предоставляют нам простую модель мышления, которая может помочь нам очень эффективно формулировать контекст. Отличая “Контекст ожидания” от “Операционного контекста”, CSF предоставляет четкий путь для согласования ожиданий пользователя с возможностями моделей, таких как ChatGPT-4. Кроме того, CSF является расширяемым, и при необходимости можно добавлять или удалять другие насыщенные модели. Точно так же каждый каркас может быть разделен на отдельные составляющие, представляющие отдельные характеристики для заданного контекста.

Спасибо за чтение, и я надеюсь, что каркас контекста окажется полезной моделью для создания запросов! Я продолжаю добавлять новые материалы, поэтому следите за моим профилем, чтобы получать уведомления о публикациях статей. Если вы хотите обсудить каркас контекста или любые другие статьи, не стесняйтесь связаться со мной через LinkedIn.

Если не указано иное, все изображения в этой статье принадлежат автору.