Советы и хитрости для использования срочной инженерии для задачи классификации текста.

Советы и хитрости применения экстренной инженерии для классификации текста.

Зачем настраивать модель для задачи классификации текста, когда промпт-инжиниринг справляется с этим заданием? Недавно я осознал, что настройка LLM может решить проблему, конечно, заставив нас заплатить, но это не единственное решение, если у нас есть наш спаситель – промпт-инжиниринг. Я работал над задачей классификации текста. Сначала я начал с использования промптов, но каким-то образом почувствовал, что они не работают отлично, учитывая сложности классификации. Я собирался настроить LLM, но каким-то образом решил провести еще несколько экспериментов с промптами, и оно определенно стоило того. В этой статье я попытаюсь объяснить различные советы и трюки, которые можно использовать при использовании промптов LLM для задачи классификации текста.

Во-первых, давайте начнем с проблем, с которыми мы сталкиваемся при типичной задаче классификации, и посмотрим, как промпты могут помочь нам решить их, а затем сосредоточимся на нескольких советах по использованию промптов.

1. Непригодные данные? Тогда очистите их.

Независимо от того, какая проблема у вас возникает, данные – это ключевой элемент. В соответствии с этим убедитесь, что данные чистые. Хотя известно, что LLMы могут понимать естественный язык, всегда полезно проанализировать данные и удалить любые нежелательные символы или строки, которые, по вашему мнению, не добавят никакой ценности для классификации. Это не только очистит данные, но и сократит количество токенов, отправляемых в LLM, тем самым снизив стоимость.

• Обзор генератора речи WellSaid Labs AI (октябрь 2023 г.)
• AutoGen потрясающий 4 функции, которые делают AutoGen передовой фреймворк для создания AI-агентов.
• Удаленное использование VS Code с GCP

2. Уточните названия классов.

Потратьте некоторое время на обзор и уточнение различных названий классов (или категорий), в которые должен быть классифицирован текст. Убедитесь, что уточненные названия классов являются осмысленными, понятными и информативными. Например, если какое-либо название класса – «Понравился дом» (которое менее описательно) отражает набор текстов, где клиенту нравятся показанные брокерской фирмой дома, то переименуйте его как «Клиенты, которым нравятся показанные дома». Так LLMы могут легко выбрать правильный класс и присвоить его тексту. Однако вы всегда можете вернуть исходные названия классов после завершения классификации, сохраняя исходные названия классов и уточненные названия классов в основном словаре. Эта техника определенно повысит точность.

3. Решение проблемы близких классов, чтобы избежать неправильной классификации.

Итак, что, если у вас есть две близкие категории или класса, например, «Понравился дом» и «Положительный отзыв клиента». Здесь…