Исследователи Google AI предлагают общий подход к генерации персонализированного текста с использованием больших языковых моделей (LLM).

Google AI researchers propose a general approach to generating personalized text using large language models (LLM).

С появлением технологий на основе искусственного интеллекта, используемых для улучшения процесса создания контента, получила значительное внимание генерация индивидуализированного текста. Чтобы создать генеративные системы, работающие для конкретной аудитории, контекстов создания и информационных потребностей, они должны способны давать персонализированный ответ, учитывая дополнительные контексты, такие как документы, которые пользователь уже написал.

Исследователи изучали создание настраиваемого текста в различных ситуациях, таких как отзывы, чат-боты и социальные медиа. Большинство существующих работ предлагает модели, которые являются специфичными для задачи и полагаются на особенности или информацию, специфичную для области. Вопрос о том, как создать универсальную стратегию, которую можно использовать в любой ситуации, получает меньше внимания. Большие языковые модели (LLM) становятся все более популярными во многих задачах по созданию текста благодаря развитию генеративного искусственного интеллекта, особенно через чат-боты, такие как ChatGPT1 и Bard2. Однако немногие исследования занимались тем, как дать LLM такие возможности.

Недавнее исследование Google предлагает универсальный метод для создания уникального контента, используя обширные лингвистические ресурсы. Их исследование основано на общем методе обучения письму, который разбивает процесс написания текста с использованием внешних источников на несколько этапов: исследование, оценка источников, резюмирование, синтез и интеграция.

Для обучения LLM для производства индивидуализированного текста команда применяет аналогичный подход, используя многорежимную многозадачную структуру, которая включает извлечение, ранжирование, резюмирование, синтез и генерацию. В частности, они берут подсказки из заголовка и первой строки текущего документа, чтобы создать вопрос и извлечь соответствующую информацию из вторичного хранилища личных контекстов, таких как ранее написанные пользователем документы.

Затем они резюмируют ранжированные результаты, отбирая их по релевантности и важности. Помимо извлечения и резюмирования, они синтезируют полученную информацию в ключевые элементы, которые затем передаются в большую языковую модель для генерации нового документа.

В области обучения языку общепринято наблюдать, что навыки чтения и письма развиваются параллельно. Кроме того, исследования показывают, что уровень и объем чтения участника могут быть измерены с помощью заданий на распознавание авторства, которые коррелируют с грамотностью чтения. Эти два вывода привели исследователей к созданию среды с множественными задачами, где они добавили вспомогательную задачу, позволяющую большой языковой модели идентифицировать авторство конкретного текста для улучшения ее навыков чтения. Они надеются, что, предоставив модели такой вызов, она сможет более точно интерпретировать предоставленный текст и создавать более убедительные и индивидуализированные тексты.

Команда использовала три публичных набора данных, состоящих из переписки по электронной почте, обсуждений в социальных медиа и отзывов о продуктах, чтобы оценить производительность предложенных моделей. Многорежимная многозадачная структура показывает существенное улучшение по сравнению с несколькими базовыми моделями на всех трех наборах данных.