Использование больших языковых моделей в обнаружении фейковых новостей

Применение мощных языковых моделей для выявления фейковых новостей

Фейковые новости, которые передают или включают ложную, поддельную или намеренно вводящую в заблуждение информацию, существуют с момента появления печатного пресса. Быстрое распространение фейковых новостей и дезинформации в онлайне не только обманывает общественность, но также может иметь глубокое влияние на общество, политику, экономику и культуру. Примеры включают:

• Подрыв доверия к медиа
• Подрыв демократического процесса
• Распространение ложной или опровергнутой науки (например, антивакцинационное движение)

Продвижение в области искусственного интеллекта (ИИ) и машинного обучения (МО) сделало разработку инструментов для создания и распространения фейковых новостей еще проще. Ранние примеры включают продвинутых социальных ботов и автоматизированные учетные записи, которые усиливают начальный этап распространения фейковых новостей. В целом, для публики непросто определить, являются ли такие аккаунты людьми или ботами. Кроме того, социальные боты не являются незаконными инструментами, и многие компании законно приобретают их в качестве части своей маркетинговой стратегии. Поэтому не так просто систематически сдерживать использование социальных ботов.

Недавние открытия в области генеративного ИИ позволяют производить текстовый контент со скоростью, доселе недостигнутой, с помощью больших языковых моделей (ЯМ). ЯМ – это генеративные текстовые модели ИИ с более чем 1 миллиардом параметров, и они облегчают синтез качественного текста.

В этом посте мы рассмотрим, как можно использовать ЯМ для борьбы с распространяющейся проблемой выявления фейковых новостей. Мы предлагаем, что ЯМ достаточно развиты для этой задачи, особенно если в сочетании с инструментами для информационного поиска используются улучшенные техники подсказок, такие как Цепь Мысли и ReAct.

• Улучшите и разверните Mistral 7B с помощью Amazon SageMaker JumpStart.
• Как визуализировать модели глубокого обучения
• Важные статьи по компьютерному зрению за неделю с 06/11 по 12/11

Мы проиллюстрируем это, создав приложение LangChain, которое, получив новость, информирует пользователя, является ли статья правдивой или фейковой с использованием естественного языка. Решение также использует Amazon Bedrock, полностью управляемый сервис, который обеспечивает доступ к базовым моделям (БМ) от Amazon и поставщиков сторонних моделей через AWS Management Console и API.

ЯМ и фейковые новости

Феномен фейковых новостей начал быстро эволюционировать с появлением интернета и, более конкретно, социальных медиа (Nielsen et al., 2017). В социальных медиа фейковые новости могут быстро распространяться в сети пользователя, приводя общественность к неправильным коллективным мнениям. Кроме того, люди часто спонтанно распространяют фейковые новости, игнорируя правдивость контента, если новости резонируют с их личными нормами (Tsipursky et al. 2018). Исследования в социальных науках предполагают, что когнитивные предубеждения (подтверждение предубеждений, эффект групповой поддержки и эффект ветки тренда) являются одними из ключевых факторов, влияющих на иррациональные решения в создании и потреблении фейковых новостей (Kim, et al., 2021). Это также означает, что потребители новостей делятся и потребляют информацию только в направлении, укрепляющем их убеждения.

Сила генеративного ИИ в производстве текстового и богатого контента со скоростью, доселе недостигнутой, усугубляет проблему фейковых новостей. Примером, который стоит упомянуть, является технология дипфейка – комбинирование различных изображений на оригинальном видео и создание другого видео. В дополнение к дезинформации, внесенной человеческими действующими лицами, ЯМ представляют целый ряд новых проблем:

• Фактические ошибки – ЯМ имеют повышенный риск содержания фактических ошибок из-за особенностей их обучения и способности к творчеству при генерации следующих слов в предложении. Обучение ЯМ основано на многократном представлении модели неполным входом, а затем использовании техник обучения МО, пока она не заполняет пробелы, тем самым изучая структуру языка и мировую модель, основанную на языке. Следовательно, хотя ЯМ отлично распознают образцы и перекомбинируют их (“вероятностные попугаи”), они терпят неудачу в ряде простых задач, требующих логического рассуждения или математического вывода, и могут давать галлюцинационные ответы. Кроме того, температура является одним из параметров входа ЯМ, который управляет поведением модели при генерации следующего слова в предложении. При выборе более высокой температуры модель будет использовать слово с более низкой вероятностью, обеспечивая более случайный ответ.
• Размерный – Сгенерированные тексты обычно имеют большой объем и не обладают четко определенной степенью гранулярности для отдельных фактов.
• Отсутствие проверки фактов – Нет стандартных инструментов для проверки фактов в процессе генерации текста.

В целом, комбинация психологии человека и ограничений систем ИИ создала идеальную почву для размножения фейковых новостей и дезинформации в онлайн-среде.

Обзор решения

Модели языкового моделирования (LLM) проявляют выдающиеся возможности в генерации языка, понимании и обучении на небольшом количестве данных. Они обучаются на обширном корпусе текста из интернета, где качество и точность извлеченного естественного языка не всегда гарантированы.

В этой статье мы предлагаем решение для обнаружения фейковых новостей, основанное на методах цепи мыслей и подходе Реагирование и Действие (Reasoning and Acting). Сначала мы обсуждаем эти две методики инженерии запросов, затем показываем их реализацию с использованием LangChain и Amazon Bedrock.

На следующей схеме архитектуры показано решение для обнаружения фейковых новостей.

Схема архитектуры для обнаружения фейковых новостей.

Мы используем подмножество набора данных FEVER, содержащего утверждение и правдивую информацию о нем, указывающую на ложные, верные или непроверяемые утверждения (Thorne J. и др., 2018).

Рабочий процесс может быть разделен на следующие этапы:

1. Пользователь выбирает одно из утверждений, чтобы проверить его на фальшь или правду.
2. Утверждение и задача обнаружения фейковых новостей включаются в запрос.
3. Запрос передается в LangChain, который вызывает FM в Amazon Bedrock.
4. Amazon Bedrock возвращает ответ на запрос пользователя с утверждением “Верно” или “Ложно”.

В этой статье мы используем модель Claude v2 от Anthrophic (anthropic.claude-v2). Claude – это генеративная LLM, основанная на исследованиях Anthropic по созданию надежных, интерпретируемых и управляемых систем искусственного интеллекта. Созданная с использованием таких техник, как конституционный ИИ и обучение на безвредности, Claude отлично справляется с обдуманным диалогом, созданием контента, сложным рассуждением, креативностью и программированием. Однако, используя Amazon Bedrock и нашу архитектуру решения, мы также имеем возможность выбора среди других FM, предоставляемых Amazon, AI21labs, Cohere и Stability.ai.

Детали реализации вы можете найти в следующих разделах. Исходный код доступен в репозитории GitHub.

Предварительные требования

Для этого руководства вам понадобится Bash-терминал с установленным Python 3.9 или выше на Linux, Mac или на Windows Subsystem for Linux, а также учетная запись AWS.

Мы также рекомендуем использовать либо блокнот Amazon SageMaker Studio, либо экземпляр AWS Cloud9, либо экземпляр Amazon Elastic Compute Cloud (Amazon EC2).

Развертывание обнаружения фейковых новостей с использованием API Amazon Bedrock

Решение использует API Amazon Bedrock, к которому можно получить доступ с помощью интерфейса командной строки AWS (AWS CLI), Python-SDK AWS (Boto3) или блокнота Amazon SageMaker. Дополнительную информацию см. в Руководстве пользователя Amazon Bedrock. В этой статье мы используем API Amazon Bedrock через Python-SDK AWS.

Установка среды API Amazon Bedrock

Для настройки среды API Amazon Bedrock выполните следующие шаги:

1. Загрузите последнюю версию Boto3 или обновите ее:

   pip install --upgrade boto3

2. Убедитесь, что вы настроили учетные данные AWS, используя команду aws configure или передайте их клиенту Boto3.

3. Установите последнюю версию LangChain:

   pip install “langchain>=0.0.317” --quiet

Теперь вы можете протестировать настройку с помощью следующего сценария на языке Python. В этом сценарии создается клиент Amazon Bedrock с использованием Boto3. Затем вызывается API list_foundation_models для получения списка доступных моделей основы.

import boto3 import json bedrock = boto3.client( 'bedrock', region_name=YOUR_REGION) print(json.dumps(bedrock.list_foundation_models(), indent=4))

После успешного выполнения предыдущей команды вы должны получить список моделей основы из Amazon Bedrock.

LangChain как решение для последовательного привязывания запросов

Для обнаружения фальшивых новостей для заданного предложения мы используем процесс рассуждения с множественным проходом Chain-of-Thought (Wei J. и др., 2022), который состоит из следующих шагов:

1. Сначала модель пытается создать утверждение о заданной новости.
2. Модель создает список утверждений в виде маркеров.
3. Для каждого утверждения модель определяет, истинно ли оно или ложно. Обратите внимание, что, используя эту методологию, модель полностью полагается на свои внутренние знания (веса, вычисленные на этапе предварительного обучения) для вынесения вердикта. На данном этапе информация не проверяется на соответствие внешним данным.
4. Исходя из фактов, модель отвечает TRUE (да) или FALSE (нет) на заданное утверждение в запросе.

Для выполнения этих шагов мы используем LangChain, фреймворк для разработки приложений, основанных на языковых моделях. Этот фреймворк позволяет нам объединять различные компоненты FMs для создания расширенных сценариев использования. В данном решении мы используем встроенную функцию SimpleSequentialChain в LangChain для создания простой последовательной цепочки. Это очень полезно, потому что мы можем использовать вывод одной цепочки в качестве входных данных для другой.

Amazon Bedrock интегрирован с LangChain, поэтому вам нужно только создать экземпляр, передав model_id при создании объекта Amazon Bedrock. При необходимости параметры анализа модели можно указать через аргумент model_kwargs, например:

• maxTokenCount – Максимальное количество токенов в сгенерированном ответе
• stopSequences – Последовательность, используемая моделью для остановки
• temperature – Значение, варьирующееся от 0 до 1, где 0 соответствует наиболее детерминированному выбору, а 1 – наиболее творческому
• top – Значение, варьирующееся от 0 до 1, используется для выбора токенов на основе вероятности потенциальных вариантов

Если вы впервые используете модель основы Amazon Bedrock, убедитесь, что вы запросили доступ к модели, выбрав ее из списка моделей на странице Доступ к модели в консоли Amazon Bedrock, в нашем случае это claude-v2 от Anthropic.

from langchain.llms.bedrock import Bedrockbedrock_runtime = boto3.client(    service_name='bedrock-runtime',    region_name= YOUR_REGION,)model_kwargs={        'max_tokens_to_sample': 8192    }llm = Bedrock(model_id=" anthropic.claude-v2", client=bedrock_runtime, model_kwargs=model_kwargs)

Следующая функция определяет цепочку запросов Chain-of-Thought, о которой мы упоминали ранее, для обнаружения фальшивых новостей. В функции принимаются объект Amazon Bedrock (llm) и пользовательский запрос (q) в качестве аргументов. Здесь используется функциональность PromptTemplate в LangChain для предварительного определения рецепта формирования запросов.

из langchain.prompts импортировать PromptTemplateиз langchain.chains импортировать LLMChainиз langchain.chains импортировать SimpleSequentialChaindef generate_and_print(llm, q):    total_prompt = """"""    # модель должна создать список утверждений в виде маркера    template = """Вот утверждение:    {statement}    Сформулируйте список утверждений, которые вы сделали, основываясь на данном утверждении.\n\n"""    prompt_template = PromptTemplate(input_variables=["statement"], template=template)    assumptions_chain = LLMChain(llm=llm, prompt=prompt_template)    total_prompt = total_prompt + template    # модель должна создать список утверждений        template = """Вот список утверждений в виде маркеров:    {assertions}    Для каждого утверждения определите, является ли оно правдивым или ложным. Если ложно, объясните почему.\n\n"""    prompt_template = PromptTemplate(input_variables=["assertions"], template=template)    fact_checker_chain = LLMChain(llm=llm, prompt=prompt_template)    total_prompt = total_prompt + template    # для каждого утверждения модели задается вопрос, правда ли утверждение, основываясь только на внутренних знаниях    template = """ На основании вышеуказанных утверждений, окончательный ответ является ЛОЖЬ, если хотя бы одно из утверждений ЛОЖНО. В противном случае, окончательный ответ является ИСТИНОЙ. Вы должны отвечать только ИСТИНОЙ или ЛОЖЬЮ.'{}'""".format(q)    template = """{facts}\n""" + template    prompt_template = PromptTemplate(input_variables=["facts"], template=template)    answer_chain = LLMChain(llm=llm, prompt=prompt_template)    total_prompt = total_prompt + template    # SimpleSequentialChain позволяет использовать вывод одной модели в качестве ввода для другой    overall_chain = SimpleSequentialChain(chains=[assumptions_chain, fact_checker_chain, answer_chain], verbose=True)    answer = overall_chain.run(q)    return answer

Следующий код вызывает ранее определенную функцию и предоставляет ответ. Утверждение может быть либо ИСТИНОЙ, либо ЛОЖЬЮ. ИСТИНА означает, что данные в утверждении являются верными, а ЛОЖЬ означает, что в утверждении присутствует хотя бы одна неверная информация.

из IPython.display импортировать display, Markdownq="Первой женщиной, получившей степень доктора философии в области компьютерных наук, стала доктор Барбара Лисков, получившая свою степень в Стэнфордском университете в 1968 году."print(f'Утверждение: {q}')display(Markdown(generate_and_print(llm, q)))

Приведен пример утверждения и модельного ответа:

Утверждение: Первой женщиной, получившей степень доктора философии в области компьютерных наук, стала доктор Барбара Лисков, получившая свою степень в Стэнфордском университете в 1968 году.> Вход в новую цепь SimpleSequentialChain... Вот список утверждений, которые я сделала на основании данного утверждения:- Доктор Барбара Лисков была первой женщиной, получившей степень доктора философии в области компьютерных наук. - Доктор Лисков получила свою степень в Стэнфордском университете.- Она получила степень доктора в 1968 году.- До 1968 года ни одна другая женщина не получила степень доктора философии в области компьютерных наук.- В 1968 году Стэнфордский университет имел программу доктора философии в области компьютерных наук. - В утверждении речь идет о степенях доктора философии, полученных в Соединенных Штатах. Вот мое мнение по каждому утверждению:- Доктор Барбара Лисков была первой женщиной, получившей степень доктора философии в области компьютерных наук.  - Верно. Доктор Лисков была первой американской женщиной, получившей степень доктора философии в области компьютерных наук, которую она получила в Стэнфордском университете в 1968 году.- Доктор Лисков получила свою степень в Стэнфордском университете.  - Верно. Несколько источников подтверждают, что она получила свою степень в Стэнфордском университете в 1968 году.- Она получила степень доктора в 1968 году.  - Верно. Это соответствует данным из разных источников.- До 1968 года ни одна другая женщина не получила степень доктора философии в области компьютерных наук.  - Ложно. В то время как она была первой американской женщиной, Мэри Кеннет Келлер получила степень доктора философии в области компьютерных наук в Университете Висконсина в 1965 году. Однако Келлер также получила степень в США.- В 1968 году Стэнфордский университет имел программу доктора философии в области компьютерных наук.  - Верно. Стэнфордскому университету был основан отдел компьютерных наук и программа доктора философии в 1965 году.- В утверждении речь идет о степенях доктора философии, полученных в Соединенных Штатах.  - Ложно. Исходное утверждение не указывает на страну. Мои предположения о том, что речь идет о Соединенных Штатах, неверны. Келлер получила свою степень доктора в США раньше Лисковой. Ложь

ReAct и инструменты

В предыдущем примере модель правильно определила, что утверждение является ложным. Однако, повторное отправление запроса демонстрирует неспособность модели отличить правильность фактов. Модели не хватает инструментов для проверки правдивости утверждений за пределами ее собственной обученной памяти, поэтому повторные запуски одного и того же запроса могут привести к неправильной классификации поддельных утверждений как истинных. В следующем коде приведен другой пример того же запуска:

Утверждение: Первой женщиной, получившей степень доктора философии по компьютерным наукам, была доктор Барбара Лисков, которая получила свою степень от Стэнфордского университета в 1968 году. > Ввод новой простой последовательной цепочки... Вот список предположений, которые я сделал относительно этого утверждения: - Доктор Барбара Лисков была первой женщиной, получившей степень доктора философии по компьютерным наукам - Доктор Лисков получила свою степень доктора философии в 1968 году - Доктор Лисков получила свою степень от Стэнфордского университета - Стэнфордский университет присуждал степени доктора философии по компьютерным наукам в 1968 году - Доктор Лисков была женщиной - Степени доктора философии существовали в 1968 году - Компьютерные науки существовали как область изучения в 1968 году Вот мое оценка каждого утверждения: - Доктор Барбара Лисков была первой женщиной, получившей степень доктора философии по компьютерным наукам - Верно. Доктор Лисков была первой женщиной, получившей степень доктора философии по компьютерным наукам в 1968 году от Стэнфордского университета. - Доктор Лисков получила свою степень доктора философии в 1968 году - Верно. Несколько источников подтверждают, что она получила свою степень доктора философии по компьютерным наукам от Стэнфордского университета в 1968 году. - Доктор Лисков получила свою степень от Стэнфордского университета - Верно. Доктор Лисков получила свою степень доктора философии по компьютерным наукам от Стэнфордского университета в 1968 году. - Стэнфордский университет присуждал степени доктора философии по компьютерным наукам в 1968 году - Верно. Стэнфорд присудил Лисков степень доктора философии по компьютерным наукам в 1968 году, поэтому они предлагали эту степень в тот период. - Доктор Лисков была женщиной - Верно. Вся биографическая информация указывает на то, что доктор Лисков женщина. - Степени доктора философии существовали в 1968 году - Верно. Степени доктора философии существуют с конца XIX века. - Компьютерные науки существовали как область изучения в 1968 году - Верно. Хотя компьютерные науки были относительно новой областью в 1960-е годы, Стэнфорд и другие университеты предлагали ее как область изучения и исследования к 1968 году. Верно

Одной из техник, гарантирующих правдивость, является метод ReAct. ReAct (Yao S. et al., 2023) – это метод техники, который дополняет модель основы действиями агента. В этом сообщении, а также в статье ReAct, пространство действий реализует поиск информации с использованием поиска, поиска и завершения действий с помощью простого веб-API Wikipedia.

Причина использования ReAct по сравнению с цепочкой рассуждений состоит в использовании внешнего поиска знаний для дополнения модели основы с целью определения является ли заданная новость подделкой или правдой.

В этом сообщении мы используем реализацию ReAct от LangChain через агента ZERO_SHOT_REACT_DESCRIPTION. Мы изменяем предыдущую функцию для реализации ReAct и используем Wikipedia с помощью функции load_tools из langchain.agents.

Нам также необходимо установить пакет Wikipedia:

!pip install Wikipedia

Ниже приведен новый код:

from langchain.agents import load_tools, initialize_agent, AgentTypedef generate_and_print(llm, q):    print(f'Inside generate_and_print: q = {q}')    tools = load_tools(["wikipedia"], llm=llm)    agent = initialize_agent(tools, llm,                              agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,                              verbose=True,                             handle_parsing_errors=True,                             agent_kwargs={})    input = """Here is a statement:    {statement}    Is this statement correct? You can use tools to find information if needed.    The final response is FALSE if the statement is FALSE. Otherwise, TRUE."""    answer = agent.run(input.format(statement=q))        return answer

Ниже приведен вывод предыдущей функции для того же утверждения, использованного ранее:

> Вход в новую цепочку AgentExecutor... Вот мои мысли и действия, чтобы определить, является ли утверждение верным или ложным: Мысль: Чтобы проверить, является ли это утверждение о первой женщине, получившей PhD в области компьютерных наук, истинным, я должен обратиться к надежному источнику информации, например, Википедии. Действие: Википедия Входное действие: первая женщина, получившая PhD в области компьютерных наук Наблюдение: Страница: Фу Фонд школы инженерии и прикладных наук Описание: Фу Фонд школы инженерии и прикладных наук (популярно известный как SEAS или Колумбийское инженерное училище; ранее известный как Колумбийская школа горных работ) является инженерным и прикладным научным училищем Колумбийского университета. Оно было основано как Школа горных работ в 1863 году, а затем Школа горных работ, инженерии и химии, прежде чем стать Школой инженерии и прикладной науки. 1 октября 1997 года школа была переименована в честь китайского бизнесмена Чжао Ян Фу, который пожертвовал $26 миллионов учебному заведению. Фу Фонд школы инженерии и прикладных наук поддерживает тесные исследовательские связи с другими университетами, включая NASA, IBM, MIT и Earth Institute. Патенты, принадлежащие школе, приносят более 100 миллионов долларов дохода ежегодно. Преподаватели и выпускники SEAS ответственны за такие технологические достижения, как разработка FM-радио и масера. В прикладной математике, биомедицинской инженерии, информатике и финансовой инженерии программы исследовательская работа школы прославились и занимают высокие места в рейтинге. Текущий персонал SEAS включает 27 членов Национальной академии инженерии и одного лауреата Нобелевской премии. В общем, преподаватели и выпускники Колумбийской инженерной школы получили 10 Нобелевских премий по физике, химии, медицине и экономике. В школе около 300 бакалавров в каждом выпускном классе, и она поддерживает тесные связи со своей бакалаврской школой свободных искусств Columbia College, где проживают студенты SEAS. Нынешним деканом школы является Ших-Фу Чанг, назначенный в 2022 году. Страница: Доктор наук Описание: Доктор наук (латинский: Scientiae Doctor; обычно сокращается как DSc или ScD) является академической докторской степенью, присуждаемой во многих странах мира. В некоторых странах доктор наук - это степень, которая используется для обычного доктората в области наук; в других доктор наук - это "высший докторат", присуждаемый в признание значительного и продолжительного вклада в научные знания, выходящий за рамки, требуемые для доктора философии (PhD). Страница: Хронология женщин в науке Описание: Это хронология женщин в науке, охватывающая период от древней истории до XXI века. Хотя хронология в основном фокусируется на женщинах, занимавшихся естественными науками, такими как астрономия, биология, химия и физика, она также включает женщин из социальных наук (например, социологии, психологии) и формальных наук (например, математики, компьютерных наук), а также заметных ученых-педагогов и медицинских ученых. Хронология событий, перечисленных в хронологии, относится как к научным достижениям, так и к равноправию женщин в науках. Мысль: Основываясь на страницах Википедии, утверждение, кажется, ложным. Страница Википедии "Хронология женщин в науке" указывает, что Адель Голдстайн была первой женщиной, получившей PhD в области компьютерных наук в 1964 году в Университете Мичигана, а не Барбара Лисков из Стэнфорда в 1968 году. Поэтому мой окончательный ответ: Окончательный ответ: ЛОЖЬ

Очистка

Для снижения затрат удалите все ресурсы, созданные в рамках данного руководства. Если вы запустили AWS Cloud9 или экземпляр EC2, вы можете удалить его через консоль или с помощью AWS CLI. Аналогично можно удалить блокнот SageMaker, который вы могли создать через консоль SageMaker.

Ограничения и связанная работа

Область обнаружения фейковых новостей активно исследуется в научном сообществе. В этом посте мы использовали техники Chain-of-Thought и ReAct, и при оценке этих методов мы сосредоточились только на точности классификации методов, является ли данное утверждение верным или ложным. Поэтому мы не рассмотрели другие важные аспекты, такие как скорость ответа, и не расширили решение до дополнительных источников базы знаний помимо Википедии.

Хотя в этом посте рассматривались две техники, Chain-of-Thought и ReAct, существует обширное количество работ, посвященных тому, как LLM-ы могут обнаруживать, устранять или смягчать фейковые новости. Ли и др. предложили использовать модель кодировщик-декодировщик с использованием NER (распознавание именованных сущностей), чтобы скрыть именованные сущности и гарантировать, что зашифрованный токен действительно использует знания, закодированные в языковой модели. Черн и др. разработали FacTool, который использует принципы Chain-of-Thought для извлечения утверждений из запроса и, следовательно, сбора соответствующих доказательств утверждений. Затем LLM оценивает достоверность утверждения на основе полученного списка доказательств. Ду и др. представляют дополнительный подход, в котором несколько LLM предлагают и обсуждают свои индивидуальные ответы и процессы рассуждения на протяжении нескольких раундов, чтобы прийти к общему окончательному ответу.

Исходя из литературы, мы видим, что эффективность LLMs в обнаружении поддельных новостей возрастает, когда LLMs дополняются внешними знаниями и возможностью мультиагентного общения. Однако эти подходы более вычислительно сложны, поскольку требуют множественных вызовов моделей и взаимодействий, более длинных подсказок и длительных вызовов сетевого уровня. В конечном итоге, эта сложность приводит к увеличению общей стоимости. Мы рекомендуем оценить соотношение стоимости и производительности перед внедрением подобных решений в производство.

Вывод

В этом посте мы рассмотрели, как использовать LLMs для борьбы с распространенной проблемой фейковых новостей, которая является одним из основных вызовов современного общества. Мы начали с обозначения проблем, связанных с фейковыми новостями, с упором на их потенциал повлиять на общественное мнение и вызвать социальные потрясения.

Затем мы представили концепцию LLMs как передовых искусственных интеллект-моделей, обученных на значительном объеме данных. Благодаря обширной тренировке, эти модели обладают впечатляющим пониманием языка, позволяющим им производить тексты, напоминающие человеческий. С использованием этой возможности, мы продемонстрировали, как LLMs могут быть задействованы в борьбе с фейковыми новостями с помощью двух разных техник подсказок: “Цепной ход мыслей” и “Реакция”.

Мы подчеркнули, как LLMs могут облегчить услуги проверки фактов в масштабах, несравнимых с чем-либо, благодаря их способности обрабатывать и анализировать огромные объемы текстовой информации быстро. Этот потенциал для анализа в режиме реального времени может привести к раннему обнаружению и предотвращению фейковых новостей. Мы проиллюстрировали это, создав Python-скрипт, который, исходя из заявления, показывает пользователю, является ли статья правдой или подделкой, используя естественный язык.

Мы заключили, подчеркнули ограничения текущего подхода и завершили на надежной ноте, подчеркивая, что при правильных мерах безопасности и непрерывном совершенствовании, LLMs могут стать неотъемлемыми инструментами в борьбе с фейковыми новостями.

Мы хотели бы услышать ваше мнение. Дайте нам знать, что вы думаете в разделе комментариев или воспользуйтесь форумом в разделе задач в репозитории GitHub.

Отказ от ответственности: Код, предоставленный в этом посте, предназначен только для образовательных и экспериментальных целей. Не следует полагаться на него для обнаружения фейковых новостей или дезинформации в системах реального производства. Не гарантируется точность или полнота обнаружения фейковых новостей при использовании этого кода. Пользователи должны быть осторожны и должны провести должную дилижанс перед использованием этих техник в чувствительных приложениях.

Чтобы начать работу с Amazon Bedrock, посетите консоль Amazon Bedrock.