Улучшение алгоритма суммаризации GPT-4 с помощью цепочки плотностных подсказок

Улучшение алгоритма суммаризации GPT-4

Большие языковые модели привлекли много внимания в последнее время благодаря своим отличным возможностям. Большие языковые модели способны на всё – от ответов на вопросы и генерации контента до перевода языка и текстовой резюмирования. Недавние разработки в автоматическом резюмировании в значительной степени обусловлены изменением стратегии от обучения с учителем на помеченных наборах данных к использованию больших языковых моделей, таких как OpenAI разработанная GPT-4 с возможностью нулевого подталкивания. Это изменение позволяет тщательно настраивать подсказки для настройки различных свойств резюме, включая длину, темы и стиль, без необходимости дополнительного обучения.

В автоматическом резюмировании принятие решения о том, какую информацию включить в резюме, является сложной задачей. Отличное резюме должно найти баланс между полнотой и сущностно-ориентированностью, избегая чрезмерно плотного языка, который может быть запутывающим для читателей. В недавнем исследовании команда исследователей провела исследование с использованием известной GPT-4 для создания резюме с помощью подсказки Chain of Density (CoD), чтобы лучше понять этот компромисс.

Основная цель этого исследования заключалась в определении предела, собирая предпочтения людей для коллекции резюме, созданных GPT-4, которые постепенно становятся более плотными. Подсказка CoD состояла из нескольких этапов, и GPT-4 изначально генерировала резюме с ограниченным количеством перечисленных сущностей. Затем она постепенно увеличивала длину резюме, включая пропущенные существенные элементы. По сравнению с резюме, созданными с помощью обычной подсказки GPT-4, эти резюме, созданные CoD, отличались улучшенной абстрагированностью, более высоким уровнем слияния, то есть интеграцией информации, и меньшим предвзятым отношением к началу исходного текста.

В исследовании использовались сто элементов из CNN DailyMail, чтобы оценить эффективность созданных CoD резюме. Результаты исследования показали, что резюме GPT-4, созданные с помощью подсказки CoD, которые были плотнее, чем те, которые созданы с помощью стандартной подсказки, приближались к плотности резюме, написанных людьми, и предпочитались человеческими оценщиками. Это означает, что достижение идеального баланса между информативностью и читаемостью в резюме является важным. Исследователи также опубликовали 5000 неаннотированных резюме CoD, помимо исследования предпочтения людей, все они доступны для общественности на веб-сайте HuggingFace.

Команда подвела итоги своих основных вкладов следующим образом:

  1. Был представлен метод Chain of Density (CoD), который является итеративной стратегией на основе подсказок, постепенно улучшающей плотность сущностей резюме, созданных GPT-4.
  1. Комплексная оценка: Исследование тщательно оценивает все более плотные резюме CoD, включая ручную и автоматическую оценку. Предпочитая меньшее количество сущностей, ясность и информативность в резюмировании, эта оценка стремится понять деликатный баланс между ними.
  1. Ресурсы с открытым исходным кодом: Исследование предлагает свободный доступ к 5000 неаннотированным резюме CoD, аннотациям и резюме, созданным GPT-4. Эти инструменты доступны для анализа, оценки или обучения, способствуя дальнейшему развитию в секторе автоматического резюмирования.

В заключение, данное исследование подчеркивает идеальный баланс между компактностью и информативностью в автоматических резюме, как определено предпочтениями людей, и утверждает, что желательно, чтобы процессы автоматического резюмирования достигли уровня плотности, близкого к резюме, созданным людьми.