Разблокирование GPT-4 суммирования с помощью цепочки плотности подсказок

Разблокировка GPT-4 для суммирования с использованием цепочки плотных подсказок

 

Основные выводы

 

• Цепь плотности (CoD) – новая техника инженерии подсказок, разработанная для оптимизации задач краткого изложения в крупных языковых моделях, таких как GPT-4
• Техника позволяет контролировать плотность информации в сгенерированном кратком изложении, обеспечивая сбалансированный результат, который не является слишком разреженным или слишком плотным
• CoD имеет практическое значение для науки о данных, особенно в задачах, требующих высококачественного, контекстно соответствующего изложения

 

Выбор “правильного” объема информации для включения в краткое изложение – сложная задача.

• Опасности использования RAG-конвейера Неизвестные сложности встраивания таблицы
• Глубокое понимание для оптимизации работы искусственных нейронных сетей.
• Честная классификация с помощью адверсариальной нейтрализации предубеждений

 

Введение

 

Инженерия подсказок – это технология, которая обеспечивает прогресс в эффективности генеративного искусственного интеллекта. В то время как существующие столпы инженерии, такие как Цепь Мыслей и Скелет Мыслей, сосредотачиваются на структурированном и эффективном выводе, недавняя техника под названием Цепь Плотности (CoD) стремится оптимизировать качество текстовых кратких изложений. Эта техника решает проблему выбора “правильного” объема информации для краткого изложения, обеспечивая, чтобы оно не было слишком разреженным или слишком плотным.

 

Понимание Цепи Плотности

 

Цепь Плотности разработана для улучшения возможностей краткого изложения в крупных языковых моделях, таких как GPT-4. Она сосредоточена на контроле плотности информации в сгенерированном кратком изложении. В хорошо сбалансированном кратком изложении часто заключается ключ к пониманию сложного контента, и CoD стремится найти этот баланс. Для этого используются специальные подсказки, которые направляют модель искусственного интеллекта на включение важных моментов, избегая ненужных подробностей.

 Рисунок 1: Процесс Цепи Плотности на примере (из От разреженного до плотного: Краткое изложение GPT-4 с использованием Цепи Плотности)(Нажмите, чтобы увеличить)

 

Реализация Цепи Плотности

 

Реализация CoD включает использование цепи связанных подсказок, которые направляют модель в создании краткого изложения. Эти подсказки разработаны для контроля фокуса модели, направляя ее на включение важной информации и исключение ненужных деталей. Например, вы можете начать с общей подсказки для краткого изложения и затем использовать специфические подсказки для регулировки плотности сгенерированного текста.

 

Шаги процесса цепочки плотности подсказок

 

1. Определите текст для краткого изложения: выберите документ, статью или любой другой текст, который вы хотите кратко изложить.
2. Создайте начальную подсказку: создайте начальную подсказку для краткого изложения, соответствующую выбранному тексту. Цель заключается в направлении крупной языковой модели, такой как GPT-4, на создание базового краткого изложения.
3. Анализируйте начальное краткое изложение: оцените краткое изложение, сгенерированное из начальной подсказки. Определите, слишком ли разрежено краткое изложение (отсутствуют ключевые детали) или слишком плотно (содержит ненужные детали).
4. Создание связанных подсказок: на основе плотности начального краткого изложения создайте дополнительные подсказки для регулировки уровня детализации в кратком изложении. Это “связанные подсказки” являются ключевыми в технике Цепи Плотности.
5. Выполнение связанных подсказок: передайте эти связанные подсказки обратно к крупной языковой модели. Эти подсказки разработаны для увеличения плотности путем добавления важных деталей или уменьшения плотности путем исключения несущественной информации.
6. Просмотрите скорректированное краткое изложение: изучите новое краткое изложение, сгенерированное при выполнении связанных подсказок. Убедитесь, что оно охватывает все важные моменты и исключает ненужные детали.
7. Повторите, если необходимо: если краткое изложение все еще не соответствует желаемым критериям плотности информации, вернитесь к шагу 4 и скорректируйте связанные подсказки соответственно.
8. Завершите краткое изложение: после достижения желаемого уровня плотности информации краткое изложение считается окончательным и готовым к использованию.

 

Подсказка “Цепочка плотности”

 Следующая подсказка CoD взята непосредственно из статьи.

 

Статья: {{ СТАТЬЯ }}

Вы будете создавать все более лаконичные, плотные по сущностям резюме данной статьи.

Повторите следующие 2 шага 5 раз.

Шаг 1. Определите 1-3 информативные сущности (разделенные “;”) из статьи, которые отсутствуют в ранее созданном резюме.Шаг 2. Напишите новое, более плотное резюме такой же длины, которое охватывает каждую сущность и деталь из предыдущего резюме, а также отсутствующие сущности.

Отсутствующая сущность должна быть:- Релевантной: к основной истории.- Специфичной: описательной, но лаконичной (не более 5 слов).- Новой: не входит в предыдущее резюме.- Верной: присутствует в статье.- Где угодно: находится где угодно в статье.

Руководство:- Первое резюме должно быть длинным (4-5 предложений, ~80 слов), но малоинформативным, содержащим мало информации помимо отмеченных как отсутствующие сущности. Используйте чрезмерно многословный язык и слова-заполнители (например, “в этой статье обсуждается”) для достижения ~80 слов.- Используйте каждое слово с умом: перепишите предыдущее резюме, чтобы улучшить структуру и освободить место для дополнительных сущностей.- Освобождайте место с помощью объединения, компрессии и удаления неинформативных фраз, таких как “в статье обсуждается”.- Резюме должны стать очень плотными и лаконичными, но самодостаточными, то есть легко понятными без статьи.- Отсутствующие сущности могут появляться где угодно в новом резюме.- Никогда не удаляйте сущности из предыдущего резюме. Если место нельзя освободить, добавьте меньше новых сущностей.

Помните, используйте ровно такое же количество слов для каждого резюме.

Ответ в формате JSON. JSON должен быть списком (длиной 5) словарей с ключами “Отсутствующие_сущности” и “Плотное_резюме”.

 

Цепочка плотности не является всеобщим решением. Для успешной реализации необходимо тщательно составлять последовательные подсказки, которые соответствуют конкретным потребностям задачи. Однако, при правильной реализации, она может значительно повысить качество и актуальность создаваемых ИИ-генерируемых резюме.

 

Заключение

 

Цепочка плотности предлагает новый подход в инженерии подсказок, специально ориентированный на улучшение задач по составлению резюме. Его фокус на контроле плотности информации делает его ценным инструментом для создания качественных резюме. Внедряя CoD в свои проекты, вы можете использовать передовые возможности обобщения языка следующего поколения.

  Мэттью Майо (@mattmayo13) имеет степень магистра по информатике и диплом магистра по добыче данных. В своей роли Главного редактора VoAGI, Мэттью стремится сделать сложные концепции науки о данных доступными. Его профессиональные интересы включают обработку естественного языка, алгоритмы машинного обучения и исследование новейших ИИ-технологий. Он помогает демократизировать знания в сообществе науки о данных. Мэттью программировал с шести лет.