Насколько эффективны самообъяснения от больших языковых моделей, таких как ChatGPT, в анализе настроений? Глубокая погружение в производительность, стоимость и интерпретируемость

Эффективность самораскрытия в больших языковых моделях анализ настроений, производительность, стоимость и интерпретируемость

Модели языка, такие как GPT-3, разработаны для быть нейтральными и генерировать текст на основе установленных ими паттернов в данных. Они не обладают врожденными эмоциями и настроениями. Если данные, используемые для обучения, содержат предубеждения, эти предубеждения могут отражаться в выводах модели. Однако их выводы могут быть интерпретированы как положительные, отрицательные или нейтральные в зависимости от контекста и ввода, которые они получают. Контекст текста является важным при определении настроя. Предложение может быть отрицательным, если рассматривать его в отрыве, но положительным, если рассматривать его в более широком контексте текста. Большие языковые модели учитывают окружающий текст, но понимание контекста может быть сложным.

Анализ настроения может быть сложным в случае текста с неоднозначностью, сарказмом или смешанным настроем. Большие языковые модели могут некорректно интерпретировать такие нюансы. Неправильная классификация или неправильное использование анализа настроения могут иметь реальные последствия. Важно учитывать эти импликации и ответственно использовать искусственный интеллект. Исследователи из Университета Калифорнии в Санта-Круз анализировали эмоциональное поведение различных моделей, таких как ChatGPT и GPT-4. Они оценивали возможность самостоятельной генерации атрибутов функций LLM.

В ходе оценки они изучали два способа генерации. Они сравнивали генерацию объяснения перед предсказанием и генерацию предсказания, а затем его объяснение. В обоих методах они просили модель разработать полный список объяснений атрибуции функций, содержащий важность каждого слова, и просили модель вернуть наиболее важные слова. Они сравнивали их с методами интерпретации: окклюзия и Локальные интерпретируемые модели.

• Разблокировка систематической композициональности в нейронных сетях прорыв с помощью метаобучения для подхода композициональности (MLC)
• Используйте AWS PrivateLink для настройки приватного доступа к Amazon Bedrock.
• Обработка текста для подготовки к машинному обучению в Python — Обработка естественного языка

Такие модели также необходимо оценивать на основе входных функций. Необходимо оценить отклик модели на бесконечно малые изменения в значениях входной функции с помощью таких методов, как градиентная сила, сглаженный градиент и интегрированный градиент. Исследователи применили новый метод, называемый окклюзионная сила, где они оценили отклик модели на различные входы с удалением различных функций. Чтобы учесть нелинейные взаимодействия, они одновременно удаляли несколько функций, определяли важность функций как коэффициенты линейной регрессии и оценивали их.

Согласно проверке достоверности, результаты показывают, что ни одно из самостоятельно сгенерированных объяснений не имеет преимущества перед другими. Они сильно различаются согласно оценкам согласованности. В результате некоторые объяснения могут быть гораздо лучше, чем текущие, и могут потребоваться новые методы для их выявления.

Эта цепочка мыслей может рассматриваться как объяснение модели. Она часто полезна для точности конечного ответа, особенно при выполнении сложных задач рассуждения, таких как решение математических задач. Поэтому дальнейшая работа команды предполагает оценку LLMs, таких как GPT-4, Бард и Клод. Они проведут сравнительное исследование, чтобы понять, как эти модели понимают себя. Они также хотели бы провести исследования по контрфактуальным объяснениям и объяснениям на основе концепций.